残差网络论文笔记

退化表明并非系统越深效果越好。对于更深的模型，这有一种通过构建的解决方案：恒等映射（identity mapping）(层输出等于输入)来构建增加的层，而其它层直接从浅层模型中复制而来。这个构建的解决方案也表明了，一个更深的模型不应当产生比它的浅层版本更高的训练错误率。

通过将逼近的内容变为H(x)-x，如果恒等映射是所要拟合的函数的话，那么只需要把权值全置为0就能逼近恒等映射。 即使最优值不是恒等映射而只是接近，那我们的操作也能起到预处理的作用，计算一个恒等映射的扰动(靠近恒等映射)比重新学习逼近一个函数要容易的多。

跳跃连接除了增加一点微不足道的加法计算之外，并没有增加参数数量，网络深度，宽度，和计算花费。