【AI知识点】残差网络（ResNet，Residual Networks）

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】

---

残差网络（ResNet，Residual Networks） 是由微软研究院的何凯明等人在 2015 年提出的一种深度神经网络架构，在深度学习领域取得了巨大的成功。它通过引入残差连接（Residual Connection） 解决了深层神经网络中的梯度消失（Vanishing Gradient） 问题，从而实现了对非常深层网络的有效训练。

ResNet 的提出使得神经网络可以训练出更深层的模型，极大提升了模型的性能。在 2015 年的 ImageNet 大规模视觉识别挑战赛（ILSVRC 2015）中，ResNet 获得了冠军，并且它也是许多后续深度学习模型的基础。

---

1. 深度网络中的问题

随着神经网络层数的增加，深度网络面临两个主要问题：

1. 梯度消失和梯度爆炸：在反向传播中，梯度会随着层数的增加逐层变小或变大，导致前几层的权重更新非常缓慢或更新过大，模型难以有效训练。
2. 退化问题：在非常深的网络中，增加更多的层有时反而会导致模型的训练误差增大，而不是进一步减少。理想情况下，增加更多的层应该至少不会使性能变差，但实际上在深度网络中，随着层数增加，网络的表示能力可能反而下降。

---

2. 残差学习的核心思想

ResNet 的核心思想是引入残差块（Residual Block），通过跳跃连接（Skip Connection） 让信息直接跳过一层或多层网络，从而解决深度网络中的退化问题。

下图为跳过两层的残差连接示意图

图片来源：ResNet的原始论文 Deep Residual Learning for Image Recognition

假设普通的深度网络中的映射为 $H(x)$，在 ResNet 中，我们将其重新表示为残差函数 $F(x)$ 加上输入 x x </