[tensorflow学习] [CNN framework] tensorflow 实现 ResNet

ResNet(Residual Neural Network)

当神经网络的层次较深时，网络就会变得很难训练，Highway Network 保留了一定比例的原始输入。ResNet 和 Highway Network 类似，允许原始输入信息直接传输到后面的层中。
问题：当神经网络的深度增加时，会出现 Degradation，即准确率会先上升然后达到饱和，再持续增加深度会导致准确率下降。
残差：$F( \mathbf x) = H( \mathbf x) - \mathbf x$，通过直接将输入信息绕道传到输出，保护信息的完整性，某种程度上解决了传统的卷积层或者全连接层在信息传递时存在信息丢失损耗等问题；有两层残差网络（包含两个相同输出通道数）、三层残差网络（Network in network 和 Inception Net的 1x1 卷积）；如果存在输入输出维度不同的情况，对 x 做一个线性映射变换维度，再连接到后面的层。

ResNet网络的训练误差会随着层数增大而逐渐减小。

• ResNet V1
• ResNet V2: Identity Mappings in Deep Residual Networks， 激活函数变为了 Identity Mappings；每一层中都使用了Batch Normalization

---

refer:

• 《TensorFlow 实现经典卷积神经网络》 黄文坚 唐源著