[深度学习]ResNet 论文笔记

最新推荐文章于 2024-03-21 08:00:00 发布

Thorrrrrrrrrr

最新推荐文章于 2024-03-21 08:00:00 发布

阅读量868

点赞数 1

分类专栏： Python 机器学习神经网络深度学习图像分类

本文链接：https://blog.csdn.net/sinat_33487968/article/details/83650718

版权

ResNet由微软研究院提出，解决了深度神经网络的退化问题。通过残差学习模块，网络能够更好地优化深层结构。ResNet Unit通过学习输入与期望输出的残差，提高网络对权重调整的敏感度，实现深度网络的高效训练。论文在多个图像识别任务中取得最佳成绩，并影响了后续的Highway Networks等模型。

摘要由CSDN通过智能技术生成

论文地址：Deep Residual Learning for Image Recognition

ResNet由微软研究院的Kaiming He等四名华人提出，在2015年ImageNet上大放异彩，通过使用Residual Unit成功训练了152层深的神经网络，在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩，而且Deep Residual Learning for Image Recognition也获得了CVPR2016的best paper，实至名归。

一、提出的动机

论文里面引用了其他的论文说明深度对于神经网络的重要性。在深度的重要性驱动下，出现了一个问题：学习更好的网络就像堆叠更多层一样容易吗？其中，一个阻碍我们的这么做的臭名昭着的问题就是是消失/爆炸梯度，它从一开始就阻碍了趋同性。然而，这个问题在很大程度上通过初始归一化和中间层归一化来解决，这使得用于使用反向传播的随机梯度下降（SGD）的数十层网络能够开始收敛。

然而在深度不断加深的神经网络里，会出现一个Degradation的问题：当正确率上升达到饱和后，在持续增加深度就会使得准确率下降。可以看下图，但是请注意，这并不是因为过拟合，因为这不仅仅在测试机上，训练集上的准确率也是下降。