深度残差网络DRN（Deep Residual Network）解决了深度网络训练中的梯度消失问题，通过残差学习，使得模型在增加网络深度时仍能保持高精度。ResNet结构包含捷径连接，允许输入直接传递到输出，从而简化学习目标为残差F(x)的逼近。这种创新设计使得网络可以达到1000多层而不降低性能。
深度残差网络DRN ResNet网络原理
深的网络一般会比浅的网络效果好，如果要进一步地提升模型的准确率，最直接的方法就是把网络设计得越深越好，这样模型的准确率也就会越来越准确。
为什么不把网络层次加到成百上千层呢？
带着这个问题，我们先来看一个实验，对常规的网络（plain network，也称平原网络）直接堆叠很多层次，经对图像识别结果进行检验，训练集、测试集的误差结果如下图：
通过实验发现：随着网络层级的不断增加，模型精度不断得到提升，而当网络层级增加到一定的数目以后，训练精度和测试精度迅速下降，这说明当网络变得很深以后，深度网络就变得更加难以训练了。
【问题】
为什么随着网络层级越深，模型效果却变差了？
答：神经网络在反向传播过程中要不断地传播梯度，而当网络层数加深时，梯度在传播过程中会逐渐消失（假如采用Sigmoid函数，对于幅度为1的信号，每向后传递一层，梯度就衰减为原来的0.25，层数越多，衰减越厉害），导致无法对前面网络层的权重进行有效的调整。
【解决方案】
深度残差网络（Deep Residual Network，简称DRN&#
最低0.47元/天 解锁文章
31万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
