论文泛读：基于DCF-DeepLab网络的语义分割研究

基于DCF-DeepLab网络的语义分割研究

声明：本文章只用于学习，若有侵权请联系删除
引用论文：[1]蔡江海,黄成泉,杨贵燕等.基于DCF-DeepLab网络的图像语义分割研究[J].智能计算机与应用,2023,13(10):1-8+14.

摘要

针对DeepLab V3中存在的图像小目标信息易丢失、训练时效长、目标边界分割粗糙等问题,提出了一种基于双注意力交叉融合的DCF-DeepLab图像语义分割网络。该网络设计了基于注意力机制的特征融合模块，分别在2、4、8倍下采样特征图上使用该模块，融合浅层特征以弥补深层特征的不足；在主干特征提取网络部分引入轻量级网络MobileNet V3-Large，减少模型推理时间；在ASPP模块嵌入多个注意力模块和串联结构，增强网络细节特征提取能力。通过在PASCAL VOC 2012数据集上的实验结果表明，该网络可有效提升图像语义分割性能，具有一定应用潜力。

实验

目前为止，DeeLab系列都是在降采样8倍尺度上进行预测，边界分割效果不甚理想。针对该问题提出了融合多模块的DCF-DeepLab语义分割网络。

实验环境及数据集

该文中各实验均在GPU上完成，软硬件的环境配置如表1所示：

表1 实验环境配置

在公开的PASCAL VOC 2012数据集上进行了一系列的实验以验证DCF-DeepLab网络的有效性。

消融实验

为了验证DAFM模块、MA-ASPP模块和特征融合模块对网络性能的影响，设置了一系列相关的消融实验。 所有实验均在PASCAL VOC 2012数据集上进行，以语义分割中常用的标准度量平均交并比 (MIoU) 作为衡量评估指标，定义为真实值和预测值的交集和并集之比，其计算公式如下：

式中：N为前景目标类别个数，Pij表示真实值 i 被预测为 j 的数量。

DAFM模块

为了验证本文所提出的DAFM模块对网络性能的影响，通过与SENet模块和CBAM模块基于DeepLab V3网络进行对比实验，实验结果如表2所示：

表2 注意力机制对模型性能的影响

由表2可知，SENet模块和CBAM模块都可以提升网络的分割性能。DAFM模块结合了两者的优势，分割性能最好。因此，选取多个DAFM模块作为网络解码部分的主体框架，以使网络达到更好的特征表达效果。

MA-ASPP模块

实验采用DeepLab V3作为基准模型，对ASPP模块、MA-ASPP模块以及DAFM模块进行组合实验，以验证MA-ASPP模块的有效性。实验结果如表3所示：

表3 不同模块组合对模型性能的影响

从表3可看出，对比ASPP模块，MA-ASPP模块和DAFM模块均可提升网络整体的分割性能，MIoU值分别提高了0.9％和0.7％。 而将MA-ASPP模块和DAFM模块同时组合进网络，融合浅层特征和深层特征，提取出了更多关键的目标特征信息，网络效果提升显著，MIoU值达到74.1％。 因此，最终选择将MA-ASPP模块和DAFM模块同时组合进网络。

特征融合模块

在编码端使用不同尺度采样所得的特征图对网络解码端DAFM模块特征提取效果有不同程度的影响，本实验在DAFM模块和MA-ASPP模块的基础上，对DAFM模块结合主干特征提取网络不同下采样率所得特征图的网络整体组合效果进行实验。实验结果如表4所示：

表4 不同尺度特征图对模型性能的影响

由表4可知，当使用 MR(2,4,8)下采样特征图输入DAFM模块时，网络的整体性能最佳，MIoU值达到75.8％。因此，基于多尺度下采样倍率MR(2,4,8)结合DAFM模块来改进原始网络，实现了更密集化的像素级采样，使得DCF-DeepLab网络具有更好的分割性能。

实验结果分析

DeepLab V3与DCF-DeepLab在PASCAL VOC 2012验证集上的测试结果如表5所示：

表5 不同类别检测性能对比

很显然，基于DAFM模块的DCF-DeepLab在其中18个类别上的检测精度都有所提升，尤其在自行车、瓶子、沙发这3个类别上检测精度提高了2％~4％。 总体上,MIoU值由69.7％提高到了70.6％，提升了0.9％。

DCF-DeepLab和DeepLab V3在PASCAL VOC 2012数据集上的部分可视化结果如图1所示：

图1 部分可视化结果图

总结

该文提出的DCF-DeepLab网络在参数量大小和分割效率等方面都取得了一定成效，是一种有效、性能良好的的语义分割网络。我们后续的项目开展在模型选用方面可以学习并更加深入地了解这种模型及其相关思想，这有利于项目的开展。