Resnet（残差网络）

人们认为卷积层和池化层的层数越多，获取到的图片特征信息越全，学习效果也就越好。但是在实际的试验中发现，随着卷积层和池化层的叠加，不但没有出现学习效果越来越好的情况，反而两种问题：

1、梯度消失和梯度爆炸
梯度消失：若每一层的误差梯度小于1，反向传播时，网络越深，梯度越趋近于0
梯度爆炸：若每一层的误差梯度大于1，反向传播时，网络越深，梯度越来越大

2、退化问题
随着层数的增加，预测效果反而越来越差。

结构如下图：

 代码实现：

 1×1 卷积所实现的功能是遍历所有单元格，实现升维或降维的操作（使相加的两矩阵维度相等）

通过大量的上述残差块的堆叠，形成残差神经网络。

---

由于使用的激活函数为relu，在梯度下降时可防止梯度消失和梯度爆炸（relu的梯度为1），但在向下一层学习时容易学不到新的特征（）,这就导致增加的层什么也不学习，仅仅复制浅层网络的特征，即这样新层是恒等映射（Identity mapping）。

残差结构：当输入为 x时其学习到的特征记为F(x), 现在再加一条分支，直接跳到堆积层的输出， 这种跳跃连接就叫做shortcut connection，则此时最终输出H(x) = F(x) + x，这样新的层就学习到了新的特征。

上面左图两层结构的叫BasicBlock，一般适用于ResNet18和ResNet34，

而右图三层的残差结构叫Bottleneck，一般适用于ResNet50及更深的层。