shapenet网络_残差网络ResNet网络原理及实现

1、引言-深度网络的退化问题

在深度神经网络训练中，从经验来看，随着网络深度的增加，模型理论上可以取得更好的结果。但是实验却发现，深度神经网络中存在着退化问题(Degradation problem)。可以看到，在下图中56层的网络比20层网络效果还要差。

上面的现象与过拟合不同，过拟合的表现是训练误差小而测试误差大，而上面的图片显示训练误差和测试误差都是56层的网络较大。

深度网络的退化问题至少说明深度网络不容易训练。我们假设这样一种情况，56层的网络的前20层和20层网络参数一模一样，而后36层是一个恒等映射( identity mapping)，即输入x输出也是x，那么56层的网络的效果也至少会和20层的网络效果一样，可是为什么出现了退化问题呢？因此我们在训练深层网络时，训练方法肯定存在的一定的缺陷。

正是上面的这个有趣的假设，何凯明博士发明了残差网络ResNet来解决退化问题！让我们来一探究竟！

2、ResNet网络结构

ResNet中最重要的是残差学习单元：

对于一个堆积层结构(几层堆积而成)当输入为x时其学习到的特征记为H(x)，现在我们希望其可以学习到残差F(x)=H(x)-x，这样其实原始的学习特征是F(x)+x 。当残差为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。一个残差单元的公式如下：

<