【10大专题,2.8w字详解】:从张量开始到GPT的《动手学深度学习》要点笔记
残差连接相关概念
假设存在一类特定的神经网络架构F,它包括学习速率和其他超参数设置。对于所有f属于F,存在一些参数集(例如权重和偏置),这些参数可以通过在合适的数据集上进行训练而获得。如果是f*∈ F,那我们可以轻而易举地训练得到它,但通常我们不会那么幸运。相反,我们将尝试找到⼀个函数f**,这是我们在F中的最佳选择。
对于非嵌套函数类,较复杂(由较大区域表示)的函数类不能保证更接近“真”函数(f∗ )
如果一个网络结构F’包含了原来的网络结构F(即F ⊆ F’),那么F’至少可以达到F的性能,因为F’可以通过设置一部分参数,使得自身退化为F,即将新添加的层训练成恒等映射f(x) = x。在这种情况下,选择F’是安全的,因为它至少不会比F差。然而,如果F’不包含F,那么F’可能会比F更差。这是因为F’可能无法表达F能够表达的一些函数,从而导致性能下降。同时,由于新模型可能得出更优的解来拟合训练数据集,因此添加层似乎更容易降低训练误差。
- 缓解梯度消失:在深度神经网络中,梯度消失是一个常见的问题,它会阻碍网络的训练。当网络深度增加时,梯度在反向传播过程中可能会变得非常小,这使得权重更新变得困难。ResNet通过引入残差块和跳跃连接来解决这个问题。跳跃连接允许梯度直接反向传播到较早的层,从而缓解了梯度消失问题。
- 更加易于优化:残差映射通常比直接拟合原始映射更容易优化。这是因为,如果理想的输出是输入的恒等映射,那么残差映射(即输出与输入的差)就接近于零。这使得网络可以更容易地学习恒等映射的细微变化。
- 跨层特征融合:ResNet的跳跃连接不仅解决了梯度消失问题,还使得网络可以在不同的层级之间共享和融合特征。这种跨层的特征融合有助于提高模型的表现力和准确性。