keras搬砖系列-Resnet-34详解

keras搬砖系列-Resnet-34详解

残差网络与传统网络相比加入了一个y=x层，主要作用是随着网络深度的增加，而不断退化。还有比较好的收敛效果。

其实我觉得出发点应该就是防止由于网络过深导致梯度爆炸/消失

之前做过一个实验对于某些物体8层与16层效果相同，这时候你应该查看权重看是否梯度爆炸或者消失，我觉得直线型的网络其实很优，简单粗暴，但是面对复杂的数据集，或者想要让精度更加高，或者运行速度更加快就得通过简单的东西复杂化。

对于残差网络与inception流一致，都有一个相同的module。

我们姑且称之为残差module：

其中F(x)表示残差，H(x)表示的是映射输出(网络输出)，所以可以得到网络输出为H(x)=F(x,wi)+x

由于基本组成中间有两个隐藏层所以可以得到网络的输出为H(x)=y=w2Z(w1X)+wsX

对于普通网络而言，引入了快捷链接，当输入与输出具有相同维度的时候采用实线连接，可以直接使用快捷链接。维度增加的时候才用虚线连接。

参考：http://blog.csdn.net/circleyuanquan/article/details/60875016

代码：