残差连接相关概念

【10大专题，2.8w字详解】：从张量开始到GPT的《动手学深度学习》要点笔记

残差连接相关概念

假设存在一类特定的神经网络架构F，它包括学习速率和其他超参数设置。对于所有f属于F，存在一些参数集（例如权重和偏置），这些参数可以通过在合适的数据集上进行训练而获得。如果是f*∈ F，那我们可以轻而易举地训练得到它，但通常我们不会那么幸运。相反，我们将尝试找到⼀个函数f**，这是我们在F中的最佳选择。

对于非嵌套函数类，较复杂（由较大区域表示）的函数类不能保证更接近“真”函数（f∗ ）

如果一个网络结构F’包含了原来的网络结构F（即F ⊆ F’），那么F’至少可以达到F的性能，因为F’可以通过设置一部分参数，使得自身退化为F，即将新添加的层训练成恒等映射f(x) = x。在这种情况下，选择F’是安全的，因为它至少不会比F差。然而，如果F’不包含F，那么F’可能会比F更差。这是因为F’可能无法表达F能够表达的一些函数，从而导致性能下降。同时，由于新模型可能得出更优的解来拟合训练数据集，因此添加层似乎更容易降低训练误差。

• 缓解梯度消失：在深度神经网络中，梯度消失是一个常见的问题，它会阻碍网络的训练。当网络深度增加时，梯度在反向传播过程中可能会变得非常小，这使得权重更新变得困难。ResNet通过引入残差块和跳跃连接来解决这个问题。跳跃连接允许梯度直接反向传播到较早的层，从而缓解了梯度消失问题。
• 更加易于优化：残差映射通常比直接拟合原始映射更容易优化。这是因为，如果理想的输出是输入的恒等映射，那么残差映射（即输出与输入的差）就接近于零。这使得网络可以更容易地学习恒等映射的细微变化。
• 跨层特征融合：ResNet的跳跃连接不仅解决了梯度消失问题，还使得网络可以在不同的层级之间共享和融合特征。这种跨层的特征融合有助于提高模型的表现力和准确性。