ResNet残差网络结构在深层网络中训练效率会提高,为什么呢,我们下面用公式解释一下。我们先回顾全连接网络和卷积网络反向传播的过程,细节推导见我的博客
一、DNN结构反向传播
1、l层全连接层的反向传播的W的梯度公式
2、l层全连接层的反向传播的b的梯度公式
3、层与层之间的梯度传播依靠到
的过渡
ResNet残差网络结构在深层网络中训练效率会提高,为什么呢,我们下面用公式解释一下。我们先回顾全连接网络和卷积网络反向传播的过程,细节推导见我的博客
一、DNN结构反向传播
1、l层全连接层的反向传播的W的梯度公式
2、l层全连接层的反向传播的b的梯度公式
3、层与层之间的梯度传播依靠到
的过渡