Pyramid Attention Network for Semantic Segmentation
Pyramid Attention Network for Semantic Segmentation
原文地址:PAN
备注: 这篇文章和DFN类似。
Introduction
Abstract
论文提出了Pyramid Attention Network(PAN)网络用于探究全局上下文信息在语义分割中的影响。论文结合了注意力机制和空间金字塔结构用于提取精准密集的特征。具体来讲,论文引入了Feature Pyramid Attention module应用于high-level的特征上,通过空间金字塔注意力结构并结合全局上下文信息,用于学习更好的特征表示。 引入Global Attention Upsample module在每个decoder层上引导low-level的特征选择空间信息。论文提出的PAN在PASCAL VOC 2012 and Cityscapes上获得了优异的表现。
Motivation
现存的语义分割结构在编码高维信息时,会受到空间分辨率的损失的影响。如图:
FCN作为backbone的结构对小型目标预测不佳,论文认为这存在两个挑战。
- 物体因为多尺度的原因,造成难以分类。针对这个问题,PSPNet和DeepLab引入了PSP和ASPP模块引入多尺度信息。论文引入了像素级注意力用于帮助提取精准的high-level 特征。
- high-level的特征偏向于对类别分类,缺乏空间信息。针对这个问题,常见的操作是采用U-shape结构网络,例如SegNet、Refinenet等。使用low-level帮助high-level恢复图片细节。然后这些都是很耗时的,论文提出了有效的decoder结构,称之为Global Attention Upsample(GAU),可以提取high-level的全局上下文用于对low-level信息加权。
Contributions
论文的主要贡献在于:
- 提出了Feature Pyramid Attention module(FPA)将不同尺度上下文特征嵌入到现存的FCN结构上
- 提出了Global Attention Upsample(GAU),一个有效的decoder模块
- 基于FPA和GAU,提出了Pyramid Attention Network(PAN)网络,在VOC2012 and cityscapes上获得了先进表现
Architecture
论文提出的PAN网络是基于Feature Pyramid Attention module(FPA)和Global Attention Upsample(GAU),这里分步一个一个介绍。
Feature Pyramid Attention
PSPNet和DeepLab使用的PSP或ASPP结构结构如下:
PSPNet使用池化操作会有空间信息上的损失。DeepLab使用扩张卷积会存在缺少局部信息和”griding”(卷积核退化)现象。
受到注意力机制的启发,论文认为可使用注意力机制,将全局上下文信息作为先验知识引入到通道选择。但是仅仅有通道注意力机制是不够的,这依旧缺乏逐像素信息。论文提出了FPA模块,该模块融合了多尺度信息,以 3×3 3 × 3 , 5×5 5 × 5 , 7×7 7 × 7 三个卷积做金字塔结构,因为high-level的特征分辨率较小,故使用大的卷积核带来的计算负担不会太多。同时论文引入了全局池化分支用于进一步提升性能。如图所示:
得益于金字塔结构,FPA可以融合多尺度信息,产生更佳的像素级注意力应用于high-level特征。不同于PSPNet或ASPP需要做通道降维,论文的做法是上下文信息与原始的特征做逐像素乘。
Global Attention Upsample
现存的decoder结构上,如PSPNet和Deeplab都是直接双线性差值上采样得到预测结果,这可以看成是一个naive decoder。
DUC使用了多通道做reshape操作得到预测结果。这两类都缺乏多尺度信息,难以恢复空间信息。常见的encoder-decoder架构主要考虑使用使用多尺度信息逐步恢复边界,但是这些结构都较为复杂,带了较大的计算消耗。
因为high-level中有着丰富的语义信息,这可以帮助引导low-level的选择,从而达到选择更为精准的分辨率信息。论文提出了GAU结构,通过全局池化提供的全局信息作为指引选择low-level特征。其结构如下:
具体来讲,使用 3×3 3 × 3 卷积用于对低级特征做通道处理,然后使用全局池化后的信息做加权,得到加权后的low-level特征,再上采样,然后再与high-level信息相加。
Network Architecture
基于PFA和GAU,论文提出了完整的PAN架构,如下图:
使用带有扩张卷积策略的Resnet101作为backbone,res5b使用dialted rate=2,最初的 7×7 7 × 7 卷积换成了3个 3×3 3 × 3 卷积。使用FPA模块去获取密集的像素级注意力信息,结合全局上下文,通过GAU模块最终产生了预测图。
论文认为FPA模块是一个立足于encoder和decoder结构之间的中间单元。
Experiment
论文在PASCAL VOC 2012和Cityscapes上实验,论文使用了“poly”学习策略,SGD优化器,batch=16。随机的左右翻转和0.5到2之间的缩放。
FPA
对于FPA,先不使用GAU,直接上采样得到结果,论文做了大量的albation experiment。
可以看到使用全局池化“AVE”比全局最大值”MAX”效果要更佳。最终采用了”AVE”。
可以看到使用”C333”和MAX的模型效果相比于只使用SE结构的有很大的提升。使用大的卷积核也有部分的提升。同时添加全局池化也有提升。
在使用直接的上采样结构上,与PSPNet和DeepLab的结果对比:
GAU
GAU的目的是从low-level特征上恢复像素信息,使用 1×1 1 × 1 配合全局池化, 3×3 3 × 3 用于做通道降维。没有添加全局上下文注意力分支:
与先进的DFN,GCN对比如下:
PASCAL
多尺度和翻转的影响:
性能很强!
CITYSCAPES
模型没有使用coarse标准图片,cropsize=768.结果如下:
Conclusion
论文面向语义分割设计了FPA和GAU结构,并基于两个模块提出了PAN网络。FPA提供了像素级注意力信息,通过金字塔结构增加了感受野。GAU使用high-level特征指导选择low-level。实验证明了设计模块的有效性。