U-net网络详解

U-net网络

简单说一下网络图中各项所代表的内容：
蓝/白色框表示feature map(特征图)
蓝色箭头表示3x3卷积，主要用于特征提取
灰色箭头表示skip-connection（跳跃连接，通常用于残差网络中）,在这里是用于用于特征融合，其中copy and crop中的copy就是concatenate而crop(剪切图像)是为了让两者的长宽一致
红色箭头表示池化 pooling，用于降低维度
绿色箭头表示上采样 upsample，用于恢复维度
青色箭头表示 1x1 卷积，用于输出结果

左侧为特征提取部分，红色箭头为通过一次max pooling 得到一个新的尺度

右侧为上采样部分，在这里每上采样一次就相当于和特征提取部分对应的通道数相同尺度融合，在这里，融合之前需要将其crop，左侧图中可以隐约看到蓝色的虚线框，那就是crop的过程。

U-Net网络中同行左右进行crop，在同一层都是一样的大小。在左侧进行的卷积运算，每一次减少2（例如input：572*572，第一次卷积后得到570*570）

Encoder
Encoder 由卷积操作和下采样操作组成，网络所用的卷积层为3x3卷积核，padding为0，striding为1，因为卷积过程中没有padding，所以每次卷积之后feature map的hxw就会缩小。另外，每一次下采样后U-net都会把特征通道的数量加倍。
两次卷积之后会有一个stride为2的max pooling，所以之后得到的feature map的大小就会变成1/2(h,w)：

在Encoder中，上述过程需要执行5次，这里注意，最后一次是没有pooling的，而是直接将feature map 送入 Decoder。

Decoder

feature map 经过 Decoder 恢复原始分辨率，该过程除了卷积比较关键的步骤就是 upsampling 与 skip-connection。
U-net的上采样采用的是插值的方式

U-net网络运用了skip-connection，这一关键步骤融合了底层信息的位置信息与深层特征的语义信息，并且它采用的是拼接的方式，具体来说，当网络完成反卷积之后，就会将反卷积的结果与Encoder中对应步骤的特征图拼接起来，需要注意的是，Encoder特征图尺寸稍大，将其修剪过后进行拼接。，拼接会保留了更多的维度/位置 信息，这使得后面的 layer 可以在浅层特征与深层特征自由选择，这对语义分割任务来说更有优势

通过查询网络资料发现，在样本数据集不大的情况下，选用U-net网络更为适合。

参考：
https://www.toutiao.com/a6729482984648344068/