为什么 U-net 中要用到 skip connection 呢?
今天跑了一下论文的代码,发现神经网络里面的U-Net网络应用到了SkipConnectionBlock()模块,部分运行结果如图:
不知道运用这个模块有什么用,查了资料总结如下:
U-Net是一种典型的编码-解码结构,编码器部分利用池化层进行逐级下采样,解码器部分利用反卷积进行逐级上采样,原始输入图像中的空间信息与图像中的边缘信息会被逐渐恢复,由此,低分辨率的特征图最终会被映射为像素级的分割结果图。而为了进一步弥补编码阶段下采样丢失的信息,在网络的编码器与解码器之间,U-Net算法利用Concat拼接层来融合两个过程中对应位置上的特征图,使得解码器在进行上采样时能够获取到更多的高分辨率信息,进而更完善地恢复原始图像中的细节信息,提高分割精度。
而增加了skip connection结构的U-Net,能够使得网络在每一级的上采样过程中,将编码器对应位置的特征图在通道上进行融合。通过底层特征与高层特征的融合,网络能够保留更多高层特征图蕴含的高分辨率细节信息,从而提高了图像分割精度。
我们也在U-Net上面做了一些工作。我们在网络中引入邻层特征重建和跨层特