【前沿热点视觉算法】-RGB-D显著目标检测的边缘感知多模态变压器

计算机视觉算法分享。问题或建议，请文章私信或者文章末尾扫码加微信留言。

1 论文题目

• RGB-D显著目标检测的边缘感知多模态变压器

2 论文摘要

• RGB-D显著目标检测（SOD）近年来引起了广泛的关注。特别是，变压器已被使用，并显示出巨大的潜力。然而，现有的变压器模型往往忽略了重要的边缘信息，这是限制SOD精度进一步提高的主要问题。为此，我们提出了一种新的边缘感知RGB-D SOD变压器，称为EM-Trans，它在双带分解框架中显式地建模边缘信息。具体来说，我们采用两个并行解码器网络，分别从一个双蒸汽多模态主干网络中提取的低阶和高级特征中学习高频边缘和低频体特征。接下来，我们提出了一个交叉注意互补探索模块，利用多模态互补信息来丰富边缘/体特征。然后将改进后的特征输入到我们提出的颜色提示引导融合模块中，以增强深度特征和融合多模态特征。最后，利用我们的深度监督渐进融合模块对所得到的特征进行融合，该模块逐步集成边缘特征和身体特征来预测显著性映射。我们的模型明确地考虑了精确的RGB-D SOD的边缘信息，克服了现有方法的局限性，有效地提高了性能。在基准数据集上的大量实验表明，EM-Trans是一种有效的RGB-D SOD框架࿰