全网最全的ResNet（残差神经网络）介绍

1.新的结构

提出背景：

该团队研究了VGGNet,给它最多为什么是19层提出了解释

左图为VGGNet在训练集上的损失，右图是在测试集上的，图像表明随着层数的加深，模型的泛化能力并没有提升，反而下降；
所以，ResNet团队就大胆的提出，这可能是非线性的拟合能力太强（模型越深，非线性层堆叠越多，非线性拟合能力越强），所以他们就提出了想要增强线性的拟合能力的想法，提出了残差块。

残差块

在经过非线性层后，又加入了原本的输入，由图上可以看出是快捷连接，没有参数。
残差块中通常有大于1个的卷积层，避免了两条路线均为线性变换。
在训练时，如果想要非线性更多，则将非线性层中（就是那些卷积层）的参数弄大点；反之，则会训练的小点

并且它继承了VGGNet的优点，使用的大部分都是3*3的小卷积核

2.残差块的改进

右边的这个残差块就是我们常听到的带瓶颈结构的残差块（输出的层数是输入的4倍），用于ResNet-50/101/152，小于50的网络用左边的残差块

带瓶颈结构的残差块的优点：

①增强非线性的拟合能力（层数多）
②参数量和计算量更小
③快捷连接连接着两端的高维，能避免违反表示瓶颈原则
表示瓶颈：做运算的通道数相差太多

ResNet结构