Deeplab

有什么问题欢迎留言指正~~~

Deeplab至今总共有四个版本：

deeplabv1:

https://arxiv.org/abs/1412.7062

由于这个版本时间太早，同时主要说的CRF在后面的版本里也被删除了，这里就不进行过多介绍了。

deeplabv2:

https://arxiv.org/pdf/1606.00915.pdf

主要引入了空洞卷积（atrous convolution）和ASPP(atrous spatial pyramid pooling)结构。

这里主要讲解一下空洞卷积：

空洞卷积的出现是为了解决小核（3*3）感受野过小，而采用下采样会降低图片精度的问题而提出的。空洞卷积可以有效的扩大感受野，是现在语义分割中比较好用的利器之一。

                                                           

推荐一下讲的比较好的一篇文章：https://www.zhihu.com/question/54149221

ASPP(atrous spatial pyramid pooling)

通过使用不同rate的空洞卷积解决了多尺度问题。ASPP是根据何凯明提出的SPP思想产生的（https://arxiv.org/pdf/1406.4729.pdf）,spp主要解决了对于不同尺度大小的图片如何把他进行缩放能够使得输入固定，方便网络对于不同大小的图片进行处理。换一种角度，我们想解决图像处理中的多尺度问题，也就可以把同一张图片变换成不同尺度让网络学习进行训练，也就可以认为是将同一张图片经过不同大小感受野的卷积核实现（金字塔思想）。

此外该模型还采用了CRF

卷积网络生成的结果只能表示粗糙的物体位置，但不能很好的描述物体边界。而全连接的CRF能够很好的恢复物体边界。

传统的CRF被用于平滑噪声分割图，将相邻的节点耦合起来，倾向于将相同的标签分配到空间上的近端像素，换句话，他会根据每个像素点周围的像素点标签分配该像素点的标签。

这里CRF就是一个后处理的过程。后期就被抛弃了。。。

deeplabv3:

https://arxiv.org/abs/1706.05587

对deeplabv2提出了ASPP进行了改进，可以看作采用了并行空洞卷积和串行空洞卷积，下面会详细解释并行和串行空洞卷积。同时废除了后处理CRF也得到了很好的结果。

串行空洞卷积：

卷积操作虽然好用但存在着致命的缺陷，就是感受野小。为了解决这个问题提出了池化操作，但随着网络层数的加深，过多的池化层会导致原图像缩小过多，丢失图片细节甚至是小物体，更不利于语义分割。为了解决池化带来的问题同时增大卷积网络的感受野提出了空洞卷积。

deeplabv3使用resnet作为backbone提取图片特征，然后在resnet后面又重复放了三个Block4(也就是重新命名的block5,nlock6,block7)，但由于block本来带有的池化层，会导致图片长宽缩的过于小，也就是下面图片中的第一行，最小的会缩小到源图像的256分之一。太小了不适合语义分割，因此的deeplabv3去除了block的池化层，将3*3卷积使用空洞卷积代替。每往下传递一个block就将空洞卷积的rate增大2倍，也就代替了池化操作。

同时由于空洞卷积会存在gridding 的影响，为了解决采用了multi-grid方法，例如，采用（1，2，4）则对于block5: rate=4，那么他的空洞卷积为4*（1，2，4）=（4，8，16）

并行空洞卷积：

这里也就是对ASPP进行的改进，同一层block使用不同大小的空洞卷积，实现多尺度。

当空洞卷积的rate特别大的时候，卷积核中的有效参数就会变少，比如，当rate=feature map size时，3*的卷积核就相当于1*1的卷积核，其他参数都作用在了图片的padding部分。所以并行结果中增加了1*1的卷积核。同时为了整合图片的全局信息，增加了global average pooling。

deeplabv3+:

https://arxiv.org/abs/1802.02611

这部分很简单，主要就是两个贡献：

一个是对于decoder的改进（红色虚线框内），加入了类似于FCN的skip connect融合思想。对于ASPP生成的feature map在上采样的插值过程中加入了encoder的feature map。

 

另一个就是更改了网络backbone,使用了Xception,也就是精简了网络。