图像语义分割_(ICIP2019)图像语义分割(24) ACNet-使用注意力网络的RGBD图像语义分割方法...

论文《ACNet: Attention Based Network to Exploit Complementary Features for RGBD Semantic Segmentation》已经被ICIP2019(2019 IEEE International Conference on Image Processing)接收，论文提出了一种全新的方法，基于时下流行的注意力机制，用于室内场景下的RGBD图像语义分割——通过利用图像深度信息，获得更好的语义分割效果，在包含40个类别的复杂室内场景通用数据集NYUDv2上取得了SOTA效果，mIoU达到了48.3%，论文主要的贡献在于注意力辅助模块和三平行分支的网络架构。

原文链接：ICIP 2019 开源论文 | 基于注意力网络的RGBD图像语义分割方法

论文地址：https://arxiv.org/abs/1905.10089

工程链接：https://github.com/anheidelonghu/ACNet。

1.背景

当下图像语义分割的研究多关注室外场景，为自动驾驶等任务提供支持，而关注室内场景的研究较少，室内场景图像中目标亮度不均且在空间上存在较多的重叠，使用RGBD图像相较于RGB图像，能够取得较好的分割效果，RGBD图像即RGB图像和深度(Depth)图像的结合，包括RGB三个通道和一个代表像素点与相机距离的深度通道共四个通道。已有的RGBD图像语义分割方法有两种思路：一是利用两个编码器分别从RGB图像和深度图像中提取特征，结合之后进行上采样；二是在下采样阶段直接将两个特征融合处理。前者不能将两种特征充分融合，后者没有考虑两种特征对最终结果的贡献程度，对于RGB图像信息和深度图像信息可能不充分对等的RGBD图像中，都不能取得较好的效果。为此论文提出了集成注意力机制的三平行分支架构的语义分割网络ACNet，在通用数据集NYUDv2上取得了SOAT效果。

2.ACNet

ACNet网络架构如下图所示：

两个基于ResNet的独立分支分别用于RGB图像和深度图像的特征提取，根据每一层特征所包含的信息量设计的多个注意力辅助模块(ACM，Attention Complementary Modules)来平衡特征的分布，使网络更加关注图像的有效区域，一个同样基于ResNet的独立分支用于融合RGB特征和深度特征，最后经过多次上采样得到分割结果。ACNet在保持原始RGBD特征流的同时充分利用了融合后的特征，最后分几步进行上采样，下面具体来看。

2.1 注意力辅助模块-ACM

如上图所示，室内场景下的RGBD图像中，RGB图像和深度图像的特征分布完全不同，为了使网络专注于目标的有效区域，论文设计了多个注意力辅助模块ACMs，单个ACM结构如下图所示：

2.2 特征融合架构

为了过早或过晚融合RGB特征和深度特征，ACNet设计的第三个独立分支逐阶段的进行特征融合，充分利用浅层和深层的特征，不仅保留了两个独立分支的特征信息，还能有效利用融合特征。

3. 实验

3.1 ACM的分析

以layer2时的特征图为例，可视化如下图所示，

不同阶段的ACM得到的权重分布：

3.2 实验结果

NYUDv2和SUN-RGBD测试集：

4. 总结

论文提出用于室内场景下RGBD图像语义分割网络ACNet，三分支架构和注意力辅助模块较好的平衡了RGBD图像中RGB图像特征和深度图像特征，并充分利用了二者的融合形式，共同作用于最终分割结果，最终在NYUDv2和SUN-RGBD数据集上都取得了SOAT效果。论文最后指出未来的研究方向为分割的实时性和闭环检测。

欢迎关注 深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]