深度学习：skip connect（残差连接）

一、为什么引入 skip connect ?

当梯度传播到中间层的神经元 f 时，如上图所示，来自上一层的梯度dL/dz从右边 z 进入，传到中间的神经元。
此神经元在左边有两个输入，分别是 x 和 y，为了计算 L 对于 x 和 y 的梯度dL/dx和dL/dy，就必须先计算dz/dx和dz/dy，根据复合函数求导公式，dL/dx = dL/dz * dz/dx，dL/dy = dL/dz * dz/dy，这样就能算出传播到 x 和 y 的梯度了。也就是说通过这个方法，来自深一层的梯度就能传播到 x 和 y 当中。