bottleneck resnet网络_CNN 经典网络之-ResNet

resnet 又叫深度残差网络

图像识别准确率很高，主要作者是国人哦

深度网络的退化问题

深度网络难以训练，梯度消失，梯度爆炸，老生常谈，不多说

resnet 解决了这个问题，并且将网络深度扩展到了最多152层。怎么解决的呢？

残差学习

结构如图

在普通的卷积过程中加入了一个x的恒等映射(identity mapping)

专家把这称作 skip connections  或者 shortcut connections

残差结构的理解

为什么要这样呢？下面我从多个角度阐述这个问题。

生活角度

每学习一个模型，我都希望能用日常的生活去解释为什么模型要这样，一是加深对模型的理解，二是给自己搭建模型寻找灵感，三是给优化模型寻找灵感。

resnet 无疑是解决很难识别的问题的，那我举一个日常生活中人类也难以识别的问题，看看这个模型跟人类的识别方法是否一致。

比如人类识别杯子里的水烫不烫

一杯水，我摸了一下，烫，好，我的神经开始运转，最后形成理论杯子里的水烫，这显然不对

又一杯水，我一摸，不烫，好嘛，这咋办，认知混乱了，也就是无法得到有效的参数，

那人类是怎么办呢？

我们不止是摸一摸，而且在摸过之后还要把杯子拿起来仔细看看，有什么细节可以帮助我们更好的识别，这就是在神经经过运转后，又把x整体输入，

当然即使我们拿起杯子看半天，也可能看不出任何规律来帮助我们识别，那人类的作法是什么呢？我记住吧，这种情况要小心，这就是梯度消失了，学习不到任何规律，记住就是恒等映射，

这个过程和resnet是一致的。

网络结构角度

当梯度消失时，f(x)=0，y=g(x)=relu(x)=x，怎么理解呢？

1. 当梯度消失时，模型就是记住，长这样的就是该类别，是一个大型的过滤器

2. 在网络上堆叠这样的结构，就算梯度消失，我什么也学不到，我至少把原来的样子恒等映射了过去，相当于在浅层网络上堆叠了“复制层”，这样至少不会比浅层网络差。

3. 万一我不小心学到了什么，那就赚大了，由于我经常恒等映射，所以我学习到东西的概率很大。

数学角度

可以看到 有1 的存在，导数基本不可能为0

那为什么叫残差学习呢

可以看到 F(x) 通过训练参数 得到了 H(x)-x，也就是残差，所以叫残差学习，这比学习H(x)要简单的多。