为何用残差连接？

残差结构

    ResNet 的动机是解决深度模型中的退化（即更深的网络收敛时的loss数值反而比更小的网络大，精度也不如小网络。）问题：层数越深，梯度越容易发散，误差越大，难以训练。

 

     理论上，模型层数越深，误差应该越小才对，因为我们总可以根据浅层模型的解构造出深层模型的解（将深层模型与浅层模型对应的层赋值为浅层模型的权重，将后面的层取为恒等映射），使得这个深层模型的误差不大于浅层模型的误差。但是实际上，深度模型的误差要比浅层模型的误差要大。 

 

ResNet最根本的动机就是所谓的“退化”问题。退化就是当模型的层次加深时，错误率却提高了

引用。【残差连接构建更深层的网络】https://mbd.baidu.com/ma/s/cKN8U9uO