卷积网络演化史（四）

ResNet

ResNet可谓是深度神经网络的一个里程碑，它对深度学习的贡献是创建了残差模块。残差模块的结构如下图所示：

残差结构中存在跨层连接，使得不同层级的feature map可以融合到一起。在这种情况下，其训练误差应该不高于原来的浅层网络，而且跨层连接没有引入额外的参数和计算复杂度。

由于直接让一些叠加层去拟合一个潜在的恒等映射函数H(x) = x会比较困难，所以采用一些非线性层，让它们去拟合另一种残差映射F (x) := H(x)-x，而原来的映射则变成H(x) = F(x) + x。Resnet学习的是残差函数F(x) = H(x) - x，优化这种残差映射要比优化原始的映射容易

ResNet的网络结构如下图所示：