Resnet网络介绍及Tensorflow实现

Resnet网络介绍及Tensorflow实现

网络背景

以下内容原文参考博客
微软研究院的Kaiming He等4名华人提出，通过使用Residual Unit成功训练152层深的神经网络，在ILSVRC 2015比赛中获得了冠军，取得3.57%的top-5错误率，同时参数量却比VGGNet低，效果非常突出。
ResNet允许原始输入信息直接传输到后面的层中。ResNet最初的灵感出自这个问题：在不断加神经网络的深度时，会出现一个Degradation的问题，即准确率会先上升然后达到饱和，再持续增加深度则会导致准确率下降。这并不是过拟合的问题，因为不光在测试集上误差增大，训练集本身误差也会增大。假设有一个比较浅的网络达到了饱和的准确率，那么后面再加上几个y=x的全等映射层，起码误差不会增加，即更深的网络不应该带来训练集上误差上升。

网络特点

1. 相比VGGnet，层数加深，但是全连接层只有一个全连接层而输出，因此整体参数少与VGGnet。
2. 采用特殊的基本结构Residual Unit，实现跨层链接，使得层间直连，从而将前边的网络输出与后期层连接起来，使得梯度更好的传递，这也是Resnet能够训练很深层数的原因。
3. 虽然改善了网络的梯度传递问题，但是因为层数的加深，使得前向/后向传播变的复杂，因此，加入了Batch Normalization稳定网络之间的数据。但是
   

这里也附上源论文中的VGGNet-19、34层深的普通卷积网络、34层深的ResNet网络的对比图：

后期ResNet-V2对Resnet的基础结构做了调整。

参考链接

https://blog.csdn.net/dcrmg/article/details/79263415
https://blog.csdn.net/Jing_xian/article/details/78878966
论文地址
实现地址-github参考-源自Tensorflow实战