TPAMI 2024 | 因果不变交互挖掘用于跨模态相似性学习

Causality-Invariant Interactive Mining for Cross-Modal Similarity Learning

因果不变交互挖掘用于跨模态相似性学习

Jiexi Yan; Cheng Deng; Heng Huang; Wei Liu

---

摘要

在现实世界中，如何有效地学习一致的跨模态相似性测量是至关重要的。现有的大多数相似性学习方法由于模态差距问题，在处理跨模态数据时表现较差，并且在应用于跨模态数据时性能明显退化。为了解决这一问题，我们提出了一种新颖的跨模态相似性学习方法，称为因果不变交互挖掘（CIIM），该方法可以有效捕捉不同样本和模态之间的信息关系，在统一的度量空间中导出模态一致的特征嵌入。我们的CIIM从样本层面和特征层面两个方面解决模态差距问题。具体来说，我们首先从样本视角出发，学习单模态和混合模态代理，用于通过精细的度量损失挖掘跨模态相似性。在这种方式下，样本-样本和样本-代理的相关性都被考虑在内。进一步地，我们通过因果干预来消除模态偏差，并在特征层面重构不变的因果嵌入。为此，我们强制学习的嵌入满足我们的因果机制的特定性质，并在统一的度