深度学习必读经典论文|​Deep Residual Learning for Image Recognition

论文标题

Deep Residual Learning for Image Recognition

论文下载

Deep Residual Learning for Image Recognition论文下载

论文作者

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun Microsoft Research

内容简介

这篇论文提出了一种深度残差学习框架（Residual Learning），旨在解决深度神经网络训练困难的问题。通过重新构思网络层，使其学习输入的残差函数而非直接学习映射函数，从而使得网络更容易优化，并且能够从增加的深度中获得准确性的提升。

在ImageNet数据集上，作者评估了高达152层的残差网络，取得了显著的分类性能，并在ILSVRC 2015分类任务中获得了第一名。此外，还探讨了在CIFAR-10数据集上的表现，并在COCO对象检测数据集上取得了相对改进。

方法

残差学习框架：

• 核心思想是将网络层重新构思为学习残差函数，即学习输入和输出之间的差异（H(x) - x），而不是直接学习映射函数H(x)。
• 通过引入“快捷连接”（shortcut connections），允许网络层的输入直接跳过一些层加到这些层的输出上，从而形成残差映射F(x) + x。

快捷连接：

• 快捷连接是指跳过一个或多个层的连接，本文中的快捷连接执行恒等映射，且不会增加额外的参数或计算复杂度。
• 当输入和输出维度不匹配时，可以通过线性投影Ws来调整维度，使得快捷连接可以跨不同尺寸的特征图。

网络架构：

• 作者设计了两种模型：Plain Network和Residual Network。Plain Network是直接堆叠的层，而Residual Network则在Plain Network的基础上增加了快捷连接。
• 为了提高效率和实用性，作者还提出了“瓶颈”（bottleneck）设计，即在每个残差函数中使用三层（1×1, 3×3, 1×1）卷积层的堆叠。

实验：

• 在ImageNet数据集上，作者展示了残差网络能够轻松优化并从深度中获得准确性提升的能力。
• 在CIFAR-10数据集上，作者展示了即使是超过1000层的网络也能够被有效训练。
• 作者还探讨了残差网络在对象检测任务上的应用，并在PASCAL VOC和MS COCO数据集上取得了显著的性能提升。

优化和正则化：

论文中提到，尽管残差网络能够从深度中获益，但是对于极端深度的网络（如超过1000层），可能需要更强的正则化技术来防止过拟合。

结论

深度残差学习框架有效地解决了深度神经网络训练中的退化问题，并在多个视觉识别任务中取得了突破性的性能。这项工作不仅推动了深度学习在图像识别领域的研究，也为其他视觉和非视觉问题提供了一种新的解决思路。

 深度学习必读论文合集：

深度学习论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！