U-Net中的skip connection

低层（encoder）：细节信息  

高层（decoder）：随着卷积越来越多，感受野逐渐变大，但是保留的细节的信息会越来越少

 U-Net是一种典型的编码-解码结构，编码器部分利用池化层进行逐级下采样，解码器部分利用反卷积进行逐级上采样，原始输入图像中的高频信息（图像的细节）和低频信息（图像的轮廓）会被逐渐恢复，由此，低分辨率的特征图最终会被映射为像素级的分割结果图。

而为了进一步弥补编码阶段下采样丢失的信息，在网络的编码器与解码器之间，U-Net算法利用Concat拼接层来融合两个过程中对应位置上的特征图，使得解码器在进行上采样时能够保留更多高层特征图蕴含的高分辨率细节信息，进而更完善地恢复原始图像中的细节信息，提高分割精度。

而增加了skip connection结构的U-Net，能够使得网络在每一级的上采样过程中，将编码器对应位置的特征图在通道上进行融合。通过底层特征与高层特征的融合，网络能够保留更多高层特征图蕴含的高分辨率细节信息，从而提高了图像分割精度。

我们也在U-Net上面做了一些工作。我们在网络中引入邻层特征重建和跨层特征重建增强层与层之间特征信息传递的同时，进一步对高层卷积特征层中丰富的细节信息进行了利用，从而最大化地提高了网络各层中的特征信息的利用率。

跨层特征重建：跨层特征重建模块建立在编码器-解码器结构的基础上，旨在将语义信息更丰富的高层卷积特征层和低层卷积特征进行融合。因为在网络传播的过程中，随着网络越来越深，相应特征图的感受野会越来越大，但是保留的细节信息会越来越少，而对于语义分割任务，高层卷积所保留的丰富的细节信息是非常有利用价值的，基于编码器-解码器对称式的结构，利用Concat拼接层将编码器过程中下采样提取出来的特征图与解码器过程中上采样得到的新特征图一一对应进行通道维度拼接。凭借跨层特征重建模块，可以更大程度地保留高层卷积中的一些重要特征信息，有利于实现更精细的分割效果。 

邻层特征重建：邻层特征重建是在整个网络中除主干路之外的每一对具有相同尺寸特征图的相邻卷积层之间搭建了支路，即利用Concat拼接层将上一层卷积与下一层卷积得到的特征图进行通道维度的拼接。Concat拼接完成后再回到网络主干路，执行原有的计算并传递给下一层。凭借邻层特征重建模块，网络的整体结构变得更密集，网络中每一层都可以从其上一层的输入中最大化地利用其之前所有层中的特征信息。

原文链接：https://blog.csdn.net/qq_42148951/article/details/106605837