《Understanding Convolution for Semantic Segmentation》论文阅读笔记

• 语义分割–Understand Convolution for Semantic Segmentation

动机

1. 编码部分的问题

• 对于编码部分，空洞卷积由于其可以增大感受野、控制分辨率从而消除了下采样的需要。
• 但是空洞卷积固有的问题就是gridding现象，因为卷积核中间加入了0(空洞)，感受野只获取了非0区域的信息，丢失了一些邻居(局部)信息。当rate逐渐增大，这个问题越来越严重，通常是在深层网络中，感受野特别大，造成卷积核中两个非0权重的距离太远，卷积核太稀疏以至于不能覆盖任何局部信息。某个固定位置像素的信息总是来自与具有griding的模式下。
• 本文提出混合空洞卷积，使用一系列空洞卷积然后把feature map级联在一起。这个方法有效的减轻gridding问题。而且选择合适的rate可以提高感受野和精确度。

2. 解码部分的问题

• 大部分语义分割模型主要采用双线性插值上采样来获得输出label map。但是双线性插值不是可学习的而且会丢失信息。
• 本文提出了密集上采样卷积(DUC)，来一次性恢复label map的全部分辨率，通过学习一系列上采样滤波器来对下采样的feature map进行恢复到要求的分辨率。

贡献

• 本文首先提出了 dense upsampling convolution，可以捕获和解码更详细的信息，这些细节信息是双线性插值不能获取的；
• 然后提出了一个 dense upsampling con