语义分割：FCN与U-Net介绍与对比

FCN

FCN的特点：

卷积神经网络结尾使用全连接层，将特征图转化为一个长度为类别总数的向量，可以实现对整张图片进行分类。全卷积神经网络的目标是进行语义分割，为了实现这一点，需要对每个像素进行独自分类，因此使用卷积层代替全连接层，因为卷积操作能够一定程度保留原图片中的位置信息，经过卷积操作后，可以对特征图片进行上采样，还原回原来的图片大小，所以可以实现端到端的语义分割。

跳跃链接：

特征图经过下采样后，经过替换全连接层的卷积层，如果直接上采样至原图尺寸，会影响到分割时的精度。因为浅层特征包含更多关于边界，位置等信息，而深层特征包含更多抽象的类别特征信息。因此通过将下采样为原图1/32尺寸的图片使用1X1的卷积核降低至类别总数的维度，并与上采样的同尺寸图片相加，通过这种方式将浅层特征与深层特征融合起来。经过实验可以得出，经过8倍上采样的FCN可以获得较为精确的边界。

 

 U-Net

U-Net虽然同样使用了编码器-解码器的结构，但是与FCN不同的是，U-Net的网络结构为对称的“U”型。具体来说，U-Net的下采样过程与FCN类似，特征图经过两次卷积操作以及一次池化操作，尺寸缩小为原来的一半，维度扩张为两倍。

但是U-Net的上采样过程与FCN不同，相比起FCN的直接从底层特征图进行32倍或16倍等的上采样，U-Net的上采样过程与下采样过程对称，特征图经过两次卷积以及一次转置卷积操作后，尺寸扩大到原来两倍，维度为原来一半。

同时，U-Net的跳跃链接也与FCN不同。U-Net的跳跃链接将下采样时同尺寸的特征图裁剪后，与上采样时的特征图在维度上融合在一起，并作为解码器的下一个模块的输入。而不是FCN的将特征图相加后，直接上采样至原图的尺寸。

通过这种方式，U-Net的上采样过程中，相比起FCN的直接上采样到原图尺寸，U-Net的上采样有更多的通道，因此权重的调整更加灵活。同时与高层特征图的融合，也使得解码器可以更好的利用位置，边框等信息。