经典卷积神经网络之-----ResNet

经典卷积神经网络之—–ResNet

---

概念

Highway Network：解决极深的神经网络难以训练的问题
修改了每一层的激活函数，允许保留一定比例的原始输入x

$$y=H(x,W_{H})\cdot T(x,W_{T})+x\cdot C(x,W_{c})$$
其中，T为变换系数，C为保留系数，论文中令:
$$C=1-T$$
这样前面一层的信息，有一定比例可以不经过矩阵乘法和非线性变换，直接传输到下一层，仿佛一条信息高速公路，因此得名Highway Network。

ResNet：
假设某段神经网络的输入是x，期望输出是H(x)，如果我们直接把输入x传到输出作为初始结果，那么此时我们需要学习的目标就是F(x)=H(x)-x，ResNet相当于将学习目标改变了，不再是学习一个完整的输出H(x)，而只是输出和输入的差别H(x)-x,即残差。
残差块：

$$两层三层残差学习单元$$

特点

1.深度增加，152层深
2.传统的卷积层和全连接层在信息传递时，或多或少会存在信息丢失，损耗等问题。ResNet在某种程度上解决了这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只要学习输入，输出差别的那一部分，简化学习目标和难度。