unet是残差网络吗_深度残差网络（Deep residual network, ResNet）

@

一、前言

深度残差网络(Deep residual network, ResNet)的提出是CNN图像史上的一件里程碑事件，让我们先看一下ResNet在ILSVRC和COCO 2015上的战绩：

ResNet取得了5项第一，并又一次刷新了CNN模型在ImageNet上的历史,

ImageNet分类Top-5误差：

那么ResNet为什么会有如此优异的表现呢？其实ResNet是解决了深度CNN模型难训练的问题，从图2中可以看到14年的VGG才19层，而15年的ResNet多达152层，这在网络深度完全不是一个量级上，所以如果是第一眼看这个图的话，肯定会觉得ResNet是靠深度取胜。事实当然是这样，但是ResNet还有架构上的技巧，这才使得网络的深度发挥出作用，这个技巧就是残差学习(Residual learning)。

论文名称：Deep Residual Learning for Image Recognition

论文作者：Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

二、深度网络的退化问题

从经验来看，网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果，

在深度学习中，网络层数增多一般会伴着下面几个问题

计算资源的消耗

模型容易过拟合

梯度消失/梯度爆炸问题的产生

问题1可以通过GPU集群来解决，对于一个企业资源并不是很大的问题；

问题2的过拟合通过采集海量数据，并配合Dropout正则化等方法也可以有效避免；

问题3通过Batch Normalization也可以避免。

貌似我们只要无脑的增加网络的层数，我们就能从此获益，但实验数据给了我们当头一棒。实验发现深度网络出现了退化问题(Degradation problem)：网络深度增加时，网络准确度出现饱和，甚至出现下降。这个现象可以在下图中直观看出来：

56层的网络比20层网络效果还要差。这不会是过拟合问题，因为56层网络的训练误差同样高。我们知道深层网络存在着梯度消失或者爆炸的问题，这使得深度学习模型很难训练。但是现在已经存在一些技术手段如BatchNorm来缓解这个问题。因此，出现深度网络的退化问题是非常令人诧异的。

当网络退化时，浅层网络能够达到比深层网络更好的训练效果，这时如果我们把低层的特征传到高层，那么效果应该至少不比浅层的网络效果差，或者说如果一个VGG-100网络在第98层使用的是和VGG-16第14层一模一样的特征，那么VGG-100的效果应该会和VGG-16的效果相同。但是实验结果表明，VGG-100网络的训练和测试误差比VGG-16网络的更大。这说明A网络在学习恒等映射的时候出了问题，也就是传统的网络("plain" networks)很难去学习恒等映射。也就是说，我们不得不承认肯定是目前的训练方法有问题，才使得深层网络很难去找到一