本文探讨了训练深层网络的挑战，特别是当网络层数增加时，性能并不一定提升的问题。作者介绍了ResNet（残差网络）的概念，作为解决深层网络学习难题的一种框架。ResNet通过学习残差函数F(x) = H(x) - x，使得网络更容易优化，并通过F(x) + x恢复目标映射H(x)。这种设计使深层网络在实践中表现出色。
CSDN上已经有了很多这一类型的系列博客，但感觉得自己亲自总结一下才能真正内化为自己的知识。所以我也打算写一个深度学习的系列博文来记录我在深度学习上的学习经历。
我想总结的第一篇博文是与ResNet相关的，虽说这并不是深度学习的入门知识，但是由于最近刚好阅读了《Deep Residual Learning for Image Recognition》这篇文章，趁热打铁，就把它记录下来了。
一，训练深层网络的困难
比起传统的神经网络，深度卷积网络的一个特点就是层数多。现有的研究已经证明在深度网络中，低层的网络层学习到的是一些比较低级的特征，而高层的网络层学习到的是一些比较高级的特征。而从AlexNet到VGGNet，也显示了网络层数越多，学习到的模型性能越好。但伴随而来的问题就是，是否网络层数越深，学习到的模型性能就越好？
如果按照之前网络结构，答案是否定的，如下图所示，在CIFAR-10数据集上，56层网络的训练误差以及测试误差均比20层网络的差。这并不是梯度消失或者梯度爆炸造成的，因为可以通过合理的参数初始化以及batch normalization解决这两个问题。唯一的解释就是深层网络模型难以通过梯度下降的方法学习得到。所以论文作者就提出了一种deep residual network framwork。（具体难在哪里作者没有明确指出）
二，残差网络
假设在很深的网络中我们要学习的一个映射是 H(x)（可以是网络中的连续几层）
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
