残差连接是什么意思

残差连接是深度神经网络中一种用于缓解梯度消失问题的技术。它的核心思想是通过将网络的输入直接传递到网络的输出，从而构建了一条直达路径，使得梯度更容易通过整个网络传播。这有助于在训练深层网络时避免梯度消失或梯度爆炸的问题。

在残差连接中，X 通常被称为“残差”或“跳跃连接”，因为它是从输入直接跳到输出的。这样的设计使得网络的每一层都能够学习残差，而不是必须从零开始学习整个映射。这有助于缓解训练深层网络时的梯度消失问题，同时提高了网络的收敛速度。

残差连接最早由何凯明等人在2016年的论文中提出，并被成功地应用于深度残差网络（ResNet）中。这个技术也被广泛应用于其他深度学习架构，如Transformer模型中的每个子层。