(2021 cnki) 基于跨模态特征融合的 RGB-D 显著性目标检测 (B类)

一、作者

​ 陈正, 赵晓丽* , 张佳颖, 尹明臣, 叶翰辰, 周浩军 (上海工程技术大学 计算机辅助设计与图形学学报)

二、原文地址

2021 cnki

三、摘要

​ 为了解决基于彩色图像的显著性检测在多目标或小目标等场景下无法准确检测出显著目标的问题, 提出了一种基于 RGB-D 跨模态特征融合的显著性检测网络模型, 该网络模型以改进的全卷积神经网络(FCN)为双流主干网络, 分别提取彩色与深度特征并作出预测, 最后利用 Inception 结构融合生成最终显著图. 针对原 FCN 实际感受野远低于理论感受野, 没有真正利用图像全局信息的问题, 设计了双分支结构的全局与局部特征提取块, 利用全局特征分支提取全局信息并指导局部特征提取, 并以此构建了改进的 FCN. 此外, 考虑到不同层级上彩色与深度特征之间的差异性, 提出了跨模态特征融合模块, 采用点积有选择性地融合彩色和深度特征, 与加法和级联相比, 采用点乘可以有效减少噪声与冗余信息.

四、主要内容

4.1 总体网络结构图

4.2 GL Block (全局特征提取和局部特征提取)

4.3 CFFM (特征交叉融合)

• 彩色图具有鲜明的外观与纹理信息
• 深度图提供了清晰的目标形状、轮廓和空间结构

$$\begin{gathered} f_r=f_r+W_2(W_r(f_r)\times W_d(f_d)) \\ {f}_d=f_d+W_2(W_r(f_r)\times W_d(f_d)) \end{gathered}$$

4.4 LOSS (Focal Loss 平衡正负样本)

• Focal Loss 在 BCE 的基础上加入$\gamma$参数, 降低易分类样本的损失, 使网络更关注于困难样本, 同时加入平衡因子$\alpha$ , 增大前景对于损失函数的贡献, 以平衡正负样本.

$$L(y-hat,y)=\{\begin{array}{l}-\alpha (1-y-hat{)}^{\gamma }lgy-hat,y=1\\ -(1-\alpha )(y-hat{)}^{\gamma }lg(1-y-hat),y=0\end{array}$$

4.5 评价指标

• PR曲线
• F值
• MAE
• S值

$$\begin{gathered} S=\alpha S_o+(1-\alpha )S_r \\ {S}_r:区域感知结构相似性 \\ {S}_o:对象感知结构相似性 \end{gathered}$$

五、结论与展望

• 进一步的研究可以着眼于如何更好地融合RGB和深度信息, 充分利用深度和RGB互补信息, 丰富图像细节, 以得到更好的显著性检测结果.