U-Net学习总结（附DeepLab v3）

简介

本论文主要亮点：

（1）改进了FCN，把扩展路径完善了很多，多通道卷积与类似FPN（特征金字塔网络）的结构相结合。

（2）利用少量数据集进行训练测试，为医学图像分割做出很大贡献。

这是比较早的论文了，这篇论文比较简单，但是却非常的经典。而且U-Net和之前的FCN很像。总之，U-Net在医学图像分割领域简直是baba一般的存在。

U-Net

U-Net是原作者参加ISBI Challenge提出的一种分割网络，能够适应很小的训练集（大约30张图）。U-Net与FCN都是很小的分割网络，既没有使用空洞卷积，也没有后接CRF，结构简单。

整个U-Net网络结构如上图所示，类似于一个大大的U字母：首先进行Conv+Pooling下采样；然后Deconv反卷积进行上采样，crop之前的低层feature map，进行融合；然后再次上采样。重复这个过程，直到获得输出388x388x2的feature map，最后经过softmax获得output segment map。总体来说与FCN思路非常类似。

为何要提起U-Net？是因为U-Net采用了与FCN完全不同的特征融合方式：拼接！

与FCN逐点相加不同，U-Net采用将特征在channel维度拼接在一起，形成更“厚”的特征。所以，语义分割网络在特征融合时也有2种办法：

1. FCN式的逐点相加，对应caffe的EltwiseLayer层，对应tensorflow的tf.add()；
2. U-Net式的channel维度拼接融合，对应caffe的ConcatLayer层，对应tensorflow的tf.concat()；

额。。。。。。以上基本就是U-Net的创新点了，就不多废话了。（现在看来，够简单吧，这可是当年医学图像分割的顶会论文）

总结一下，CNN图像语义分割也就基本上是这个套路：

1. 下采样+上采样：Convlution + Deconvlution／Resize；
2. 多尺度特征融合：特征逐点相加／特征channel维度拼接；
3. 获得像素级别的segement map：对每一个像素点进行判断类别；

看，即使是更复杂的DeepLab v3+依然也是这个基本套路（至于DeepLab以后再说）。

所以作为一篇入门文章，读完后如果可以理解这3个方面，也就可以了；当然CNN图像语义分割也算入门了。

done~

References

• https://mp.csdn.net/postedit/98783226
• https://mp.csdn.net/postedit/98884558
• https://zhuanlan.zhihu.com/p/31428783
• https://baijiahao.baidu.com/s?id=1607561081907343294&wfr=spider&for=pc