【荐读 IEEE TPAMI】CADC++_ Advanced Consensus-Aware Dynamic Convolution for Co-Salient Object Detection

CADC++: Advanced Consensus-Aware Dynamic Convolution for Co-Salient Object Detection

题目：CADC++: 用于共显著目标检测的先进共识感知动态卷积算法

作者：Ni Zhang; Nian Liu; Fang Nan; Junwei Han

---

摘要

在给定一组相关图像进行共同显著对象检测（Co-SOD）时，人类首先从整个组中总结共识线索，然后在每张图像中搜索共同显著对象。大多数先前的方法在总结阶段没有考虑鲁棒性、可扩展性或稳定性，并在搜索阶段采用简单的融合策略来融合共识和图像特征。我们的工作提出了一种新颖的共识感知动态卷积（CADC）模型，直接从“总结和搜索”的角度出发，明确有效地执行Co-SOD。在总结阶段，我们通过池化方法提取鲁棒的个体图像特征，并通过自注意力将它们整合以生成共识特征，从而建模可扩展性和稳定性。然后，我们同时学习两种类型的共识感知动态核，即通用核以捕获组内共同知识，以及自适应核以挖掘图像特定的共识线索。在第二阶段，我们采用动态卷积进行对象搜索。还开发了一种新颖的数据合成策略用于模型训练。尽管CADC已经获得了竞争性的性能，但我们认为，逐步学习动态核和表示比使用同时方案更直观和自然，因此提出了我们的CADC++，CADC的扩展。具体来说，我们首先采用基于通用核的动态卷积来捕获粗略的共同线索作为先验，然后使用基于自适应核的动态卷积来挖掘图像特定细节。