Title:GCN:Large Kernel Matters---Improve Semantic Segmantic by Global Convolutional Network
Note data:2019/05/13
Abstract:GCN提出了Global Convolutional Network(GCN),同时给出了一个基于残差(residual)的boundary refinement(BR)模块用于细化物体边界,论文在PASCAL VOC 2012(82.2%)和Cityscapes(76.9% )上达到了state-of-the-art.
Code :pytorch
目录
GCN论文解读
1 Abstract
论文提出一种Semantic Segmentation模型:GCN
网络结构:基于FCN提出大卷积概念与边界精细化边界Boundary Refinement Block
创新:提出7*7大卷积,提出边界精细化模块Boundary Refinement block,提高语义分割前景物体边界的定位精度
动机:主要解决分类与定位之间的矛盾
最近的一些网络结构趋向使用小卷积(如GoogleNet提出的1*1,VGG中的3*3),但是对于语义分割是一种逐像素分割预测,需要兼顾分类与定位的矛盾关系,提出了一种解决这种矛盾关系的GCN语义分割模型!同时给出了一个基于残差的boundary refinement(BR)模块用于细化物体边界,论文在PASCAL VOC 2012(82.2%)和Cityscapes(76.9% )上达到了state-of-the-art.
效果图:
2 Introduction
在语义分割任务中主要面对两个主要问题:
- 分类:应该正确标记与特定语义概念相关的对象;
- 定位:像素的分类标签必须与输出分数图中的适当坐标对齐。
对于分类任务,模型必须对各种变换(如平移和旋转)不变。 但是对于定位任务,模型应该是变换敏感的,即精确地定位每个语义类别的像素。论文中精心设计的细分模型应该同时处理这两个问题。
两个问题 | 任务 | 重点 | GCN方法 |
Classification | 获得每个像素的语义信息, 使得每个像素分类正确 | 模型对各种变换具有不变性 (如平移翻转等) | 网络应该采用较大的核,使得feature map与 像素分类层之间有密切的连接,从而增强处理不同变换的能力 |
Localization | 使得每个像素的label与对应的种类信息正确 | 对变换敏感,可以精确定位每个语义类别的像素
| 模型应该是完全卷积(没有FC或全局池化),保持定位信息 |
论文中对两个问题给出的示意图:
- Figure1.A Classification : 多次提取高层次的feature map,然后做分类. 例如:AlexNet,VGGNet,GoogleNet,ResNet等,整体呈现的是“圆锥形网络”(Cone-shaped),这样的feature map的空间上是粗糙的(高语义的),分类任务可通过后续接FC层或全局池化层,这样有模型能接收不同类型的输入,保持较强的鲁棒性。
- Figure1.B. Segmentation : 输入和输出大小相同(feature map尺度没变),全卷积层最后每个通道对应一个分类结果. 这需要有较大的feature map保持空间信息。所有大多数模型例如:FCN,DeepLab,Deconv-Net采用桶状(Barrel-shaped)结构,使用Deconvolution, Unpooling 和Dilated-Convolution等技术反向生成高分辨率feature map.
- Figure1.C. GCN : 全卷积设计,最后分类使用了多通道的信息(和ShuffleNet有那么点神似). 考虑到B中分类器和feature map不是全局连接,难以处理输入上的变换。例如下图,分类器与输入对象的红点对齐,如果接收野不够大(valid receptive filed,VRF),则很难分别出来.如果使用更大的feature map,则效果更差. 如下图所示:
3 Related work
以FCN为基础,从三个方面尝试提高semantic segmentation 性能:
- Context Embedding : 上下文语义嵌入。这里列举了一些工作:ParseNet使用全局池化分支增加额外上下文信息;Dilated-Net使用空洞卷积增加上下文信息;Deeplab-V2使用Atrous Spatial Pyramid Pooling模块增加上下文信息.
- Resolution Enlarging : FCN是使用deconvolution来提高层次的feature map的分辨率;在Deconv-Net和SegNet上采用unpooling来学习上采样;Deeplab和Dilated-Net提出了一个特殊的dilated convolution来扩大feature map的大小,从而达到更大的分辨图.
- Boundary Alignment : 边界对齐的任务是优化分割对象的边界预测。许多方法是使用CRF(条件随机场)。后续的Deeplab提出的denseCRF等等一大堆的CRF改进版。
与以前的网络相反,我们认为语义分割是large feature map的分类任务,我们的GCN可以同时满足分类和定位的要求。
4 Architecture
在GCN架构中,将核大小增加到feature map的空间大小,从而可以获取全局信息(Global Convolution)。这里没有直接使用大卷积核,而是采用GoogleNet的思想,将大卷积核拆分为卷积组合,即GCN模块,这里在卷积层后不使用非线性,保持计算复杂度为O(2k)O(2k)。
模型的整体架构如下(下图F2.A):
模型使用ResNet作为特征提取层(后面实验有介绍),使用FCN的结构作为分割架构。不同尺度的特征是从不同大小的feature map上提取的,对于不同层级的feature map使用GCN提取全局信息,同时高层次的feature map通过上采样来补充语义信息,最终融合得到预测图。这里提出了一个残差结构(residual structure)的BR模块(上图F2.C)学习边界信息。
4.1 网络设计两个原则:
定位角度:使用全卷积保持定位信息,不使用全连接和全局池化结构,因为这两种结构会丢失掉一些位置信息;定位角度缺失了分类的旋转、尺度缩减的不变性,文章提到了有效接受域VRF,当输入的尺度改变时,有效接受域随之改变了,但是GCN保持了有效接受域足够大能包围目标物体,如下图:
分类角度:大尺寸的卷积核,这里用对称的独立卷积核组成大size的卷积核,减小了大量的参数(kxk -> kx1+1xk),并且没有非线性操作。
还要注意这里文章有段原话是the kernel size of the convolutional structure should be as large as possible.卷积核size尽可能的大,为什么呢?我认为是因为从定位角度出发取消了全连接结构,但又要维持分类性能即需要全连接的特性,所以用一个尽可能大的卷积size来取缔全连接结构。试想其实一个与feature map的宽高相同的kernel size进行卷积操作其实就是全连接计算。
BR模块
另外设计BR模块使边界处的定位能力大大提升。这里是一个残差结构,进行边缘的refinement。
5 Experiment
论文在PASCAL VOC 2012和Cityscapes上做了评估。
将输入放缩到512×512,这样最终的feature map大小为16×16,论文比较了四种结构,示意图如下:
A:GCN结构,使用参数k控制核大小,论文使用了不同k(3到15,使用奇数保持对齐),论证了论文思想。在k=15是接收野大概为16×16,达到了“全局卷积”,在实验结果上来看,性能随着内核大小k增加而增加,从而论证了GCN的设计思想。
B:单纯的1×1卷积,提供一个baseline
C:考虑到模型性能提升可能是因为参数增加,这里设计一个k×k的卷积核做对比,从结果来看,GCN结构比大卷积核效果好,可以看到随着k增加,大卷积核效果反倒下降了,这其中的原因可能是因为过拟合,在训练过程中,因为参数多,网络难以收敛,实际原因还有待研究
D:对于大卷积核,可以使用小卷积核堆叠达到类似的接收野,为了等效比较,在堆叠小卷积时没用使用非线性(在VGG那些网络中使用非线性了,但是计算量也上去了),结果是GCN好一点。
同时还比较了堆叠小卷积核数量的影响,随着卷积核数目减少性能也减少了,结果还是GCN好一点:
其他实验:为了进一步分析GCN是如何影响分割结果的,即论证GCN是通过引入密集连接来提高分类结果,通过BR来细化边缘分割,论文将评分分为两部分:
- boundary region:像素点接近分割边缘的部分,取distance<7
- internal region: 除了boundary region剩余的像素
实验结果如下(k=15k=15):
可以看到GCN有效的提高了Internal的评分,BR提高了Boundary的评分.
5.1 预训练模型
考虑到大卷积核的优点,很自然的把GCN的思想应用到ResNet152上,论文提出了一个ResNet-GCN结构,如下图:
为了尽可能同条件比较,将Resnet-GCN精心选择kk达到和原Resnet相似的计算量和参数量,先在ImageNet2015上预训练,再在PASCAL VOC 2012微调,考虑到Resnet152计算成本太高,这里选择Resnet50来比较,模型结构如下:
实验结果如下:
可以看到,在ImageNet上Resnet-GCN的结果稍差,但是在semantic segmentation上表现好了很多,可以有信心的得出GCN有助于提高分割性能。
5.2 PASCAL VOC 2012
在PASCAL VOC 2012数据集上,
先使用MS COCO数据集预训练,训练分为三个阶段:
- Stage-1: 将COCO,BSD,标准的PASCAL VOC 2012混合成一个109,892数据集训练
- Stage-2: 使用BSD,PASCAL VOC 2012预训练调整模型
- Stage-3: 只使用PASCAL VOC 2012
输入图片在Stage-1会填充到640×640,在Stage2-3会填充到512×512,实验结果如下:
GCN+BR效果较好,同时后添加CRF会进一步提升.
提交到PASCAL VOC 2012获得了state-of-the-art:
5.3 Cityscapes
Cityscapes的图片大小固定为1024×20481024×2048,这对于模型太大了,故先随机将图片裁剪成800×800800×800来训练,同时将GCN的kk从15提升到25,最后的特征图大小为25×2525×25。训练一共分为2个阶段:
- Stage-1 : 混合标注粗糙和精细的图片,一共22973张,一起训练
- Stage-2 : 只对训练集上图片做微调
结果如下:
在测试阶段,将图片切分为4个1024×10241024×1024,融合预测分数.提交得到了state-of-the-art成绩:
6 Conclution
给出分析结果:大核有助于提高分类结果,全卷积可以保持分割信息,使用BR可以细化分割结果。后面的实验给出了验证,实验效果还可以。
复现结果:。。。