特征图注意力_(CVPR2019)图像语义分割(18) DANet-集成双路注意力机制的场景分割网络...

论文地址： Dual Attention Network for Scene Segmentation
工程地址：github链接1. 介绍
该论文提出新型的场景分割网络DANet，利用自注意力机制进行丰富语义信息的捕获，在带有空洞卷积的FCN架构的尾部添加两个并行的注意力模块：位置注意力模块和通道注意力模块，论文在Cityscapes，PASCAL Context和COCO数据集上都取得了SOTA效果。
具体地在位置注意力模块中，任一位置的特征的更新是通过图像所有位置上特征的带权聚合进行更新，权重是由两个位置上特征的相似性决定的，也就是说无论两个位置的距离只要他们的特征相似那么就能得到更高的权重。
通道注意力模块中也应用了相似的自注意力机制来学习任意两个通道映射之间的关系，同样通过所有通道的带权加和来更新某一个通道。 2. 双路注意力网络
DANet的整体框架如下图所示，对ResNet进行变形，移除最后两个模块的下采样后应用空洞卷积，得到一个输出特征图，尺寸为输入图像的1/8，然后这个输出特征图分别输入给两个注意力模块中以捕获全局(long-range)语义信息[像素点之间建立的某种联系]。在位置注意力模块中，首先生成一个位置注意力矩阵用于对任意两个点之间的关系建模，接着注意力矩阵与特征矩阵进行矩阵乘法，然后对相乘结果和原始特征矩阵进行逐元素的加法得到最终对全局语义具有一定表征能力的结果。通道注意力模块的操作相似，只不过乘法实在通道维度进行计算。最终将两个模块的结果进行聚合得到一个更好的表征结果已进行接下来的逐像素预测。

2.1 位置注意力模块
对于场景理解具有判别力的特征表示是关键的，位置注意力模块通过编码更广范围的语义信息到局部感受野中以增强特征图表示能力，论文这一节就详细描述了该模块是怎样逐步聚合位置语义的过程。

2.2 通道注意力模块
高层特征的每一个通道映射可以看做一个类别明确的响应并且不同的语义响应之间互相联系。通过获取不同通道映射之间的相互依赖性可以有效增强特征图对于特定语义的表征能力，因此设计该通道注意力模块。

2.3 将注意力模块集成到网络中
为了更好地利用两个注意模块的全局语义信息，论文将模块的输出经过一个卷积层后进行一个逐元素的加和实现特征融合，然后接一个卷积层得到最终的预测结果。
3. 实验结果
Cityscapes验证集上结果的可视化，从左到右，原始图像，两个不同位置点的子特征图，通道11和4的特征图，预测结果和groud truth

Cityscapes测试集上的mIoU和每个类别的结果

Pascal VOC 测试集结果

Pascal Context 测试集结果

COCO测试集结果

欢迎关注 深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]