图像分类网络：ResNet（残差神经网络）

Deep Residual Learning for Image Recognition

为什么网络越深，会导致模型变差？
因为在更新参数时用到的公式是W（new） = W（old）- LR*（function/W（偏导）），当这个偏导数趋向0的时候，模型参数将不会更新（这种情况一般出现在离输入层比较近的W）。因为在求偏导数的过程中是一个链式求导的过程，它每一层都会进过一个sigmoid函数（1/(e^x +1)）,它的取值范围为0到1，它的导数是f（x）f（1-x）。所以当层数很深的时候，f（x）^ nf（1-x）^n ,这时候导数就会趋向于0。

为什么网络越深，图片识别的效果会更好？
网络越深，非线性的映射的次数就会越多，那么它的输出值与真实值得差距就会越小。这就类似打桌球的时候，力气无限大，那么球在桌面上走的非线性的路线也会越多，所以球进袋的概率就会越大。

残差网络为什么可以让网络变深不会出现梯度消失的问题？
shortcut connection：
H（x）=f（x）+ x
残差就是特征（x）对损失（吊塔y=y-y^）的贡献度。因为 y^ =wx+b，所以X可以约等于吊塔y，所以y=(约等于)x+y^， y^ = x+y^
残差神经网络是将输入值和经过卷积和池化后的网络相加，再传递给下一个网络。如果它们的网络尺寸不一样，就padding一下，在周围添加0。所以在对W求偏导的时候，x中也有W的参数，所以在减去y^ 的时候会因为这个有所增加，不会让梯度消失。

ResNet网络架构

箭头表示的就是shortcut connection，它是每个两个网络层有一个（大量实验经验得来），在网络层的通道数发生变化的时候为虚线（），它这个网络取消了全连接层，因为它已经是一个很深的网络了，能提取到很高级的图像特征，不再需要全连接层取提取特征了，所以减少了很多很多参数，加快了模型的速度。

SAME的卷积操作就是输出和输入的图片大小一样，它增加的padding就是kernel size - stride。