什么是skip connection

• 概念

跳跃连接（Skip Connection），也被称为残差连接（Residual Connection），是深度神经网络架构中的一种重要组件。它的基本思想是在网络的某些层中，将输入直接连接到输出，以允许信息在不同层之间跳跃传递。这种连接通常是通过加法操作来实现的，将输入和输出相加。

跳跃连接的主要目的是解决深度神经网络中的梯度消失问题以及加速训练过程。深度神经网络通常会包含许多层，当反向传播梯度信号时，梯度可能会变得非常小，导致网络难以训练。跳跃连接通过将输入信息直接传递到后续层次，允许梯度更容易地反向传播。这种直接传递有助于保持梯度的稳定性，使网络更容易训练。

跳跃连接常见于深度残差神经网络（ResNet）中，其中每个残差块都包含跳跃连接。在 ResNet 中，每个残差块的输出与输入进行加法操作，然后经过激活函数，如 ReLU。这允许模型学习残差（差异），而不是直接学习整个映射，从而减轻了训练难度。

跳跃连接还在其他网络架构中得到了广泛的应用，包括 U-Net 用于语义分割、DenseNet 用于图像分类等。通过引入跳跃连接，这些网络可以更好地处理各种计算机视觉和自然语言处理任务，提高了模型性能和训练速度。

- 举例

以一个浅层卷积神经网络（CNN）用于图像分类任务为例，其中包含两个卷积层和一个全连接层。将添加跳跃连接以改善网络性能。

无跳跃连接的网络：

输入图像（例如，224x224像素的彩色图像）被送入第一个卷积层。
第一个卷积层生成特征图。
特征图被送入第二个卷积层。
第二个卷积层生成更高级的特征。
最后，高级特征被送入全连接层，进行分类。
有跳跃连接的网络：

输入图像被送入第一个卷积层。
第一个卷积层生成特征图。
这些特征图被直接连接到全连接层。
同时，特征图也被送入第二个卷积层。
第二个卷积层生成更高级的特征。
最后，高级特征被送入全连接层，进行分类。
在有跳跃连接的情况下，输入特征图直接与全连接层连接在一起，允许低级特征直接传递到最终分类阶段。这对于捕获图像中的细节和纹理信息非常有用，因为低级特征通常包含有关边缘、纹理等的信息。

这个例子中的跳跃连接是简化的，实际中可能会包含更多层和更复杂的结构。然而，基本思想是相同的：通过引入跳跃连接，网络可以更好地利用低级特征，从而提高性能和训练速度。这在深度残差网络（ResNet）等架构中得到了广泛的应用。

残差连接