resnet 补充介绍(p42-p43)

概述

本文老师补充介绍了resnet的论文。给出了一些解读先整理下。

残差网络的由来

论文《Deep Residual Learning for Image Recognition》，通常与浅层网络相比，更深的网络的表现不应该更差，但是 56层的神经网络表现明显要比20层的差，注意 截图是错误率的曲线

为什么网络需要多层？

因为CNN能够提取low/mid/high-level的特征，网络的层数越多，意味着能够提取到不同level的特征越丰富。并且，越深的网络提取的特征越抽象，越具有语义信息。

为什么层数多了准确率反而下降？

简单地增加深度，会导致梯度爆炸。

解决方法是正则化初始化和中间的正则化层（Batch Normalization）。

正则化产生的新问题是 网络退化（网络层数增加，但是在训练集上的准确率却饱和甚至下降了。）上面图说明不是 过拟合（应该表现为在训练集上表现更好，验证集表现差）

解决

 我们可以使用一个非线性变化函数来描述一个网络的输入输出，即输入为X，输出为F(x)，

当我们强行将一个输入添加到函数的输出的时候，虽然我们仍然可以用H(x)来描述输入输出的关系，但是这个H(x)却可以明确的拆分为F(x)和X的线性叠加。

没有 复杂公式，没有 复杂理论，一种变换的表达方式，但是解决了上面的问题。Resnet提供了两种选择方式，也就是identity mapping和residual mapping，如果网络已经到达最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络一直处于最优状态了，网络的性能也就不会随着深度增加而降低了。

残差 是什么？

其中ResNet提出了两种mapping：一种是identity mapping，指的就是图1中”弯弯的曲线”，另一种residual mapping，指的就是除了”弯弯的曲线“那部分，所以最后的输出是 H(x)=F(x)+x

identity mapping顾名思义，就是指本身，也就是公式中的x，而residual mapping指的是“差”，也就是H(x)−x，所以残差指的就是F(x)部分。

推导：

没讲，跳过了。

细节：

如图所示，如果F(x)和x的channel个数不同怎么办，因为F(x)和x是按照channel维度相加的，channel不同怎么相加呢？

这个图：右侧有”实线“和”虚线“两种连接方式，  实线部分他们的channel个数一致（第一部分64），虚线的的Connection部分(”第一个绿色矩形和第三个绿色矩形“)分别是channel个数不同(64和128)。

1×1 卷积

  用1×1的过滤器进行卷积，似乎用处不大，只是对输入矩阵乘以某个数字。还要考虑深度

核心作用 是1x1x#filters（过滤器数量） ,根据不同的通道数，来调整的channel维度的；

上图identity  是直接操作：对应上面的“实线”那种 。

convolution 是 卷积操作，

W 就是起到卷积作用。实现可以1x1x chanel