深度残差网络

什么是深度残差网络

实际就是在一般的深度神经网络中加入短连接(shortcut connection)或者跳跃连接(skip connection)。

为什么需要深度残差网络

梯度消失问题：随着深度的增加，梯度消失，深度神经网络的比较快靠前的网络层很难训练。

加入短连接后，靠后网络的层的梯度可以直接反向传播到前面的层，加速网络训练。

另外一个解释就是，加上短连接后，参数没有增加，网络学习目标相当于学习原始目标和输入的差。而残差被假设更容易学习。这也是残差网络的由来。