TPAMI 2024 | 自训练增强的多因素匹配网络在合成图像检索中的应用

题目：Self-Training Boosted Multi-Factor Matching Network for Composed Image Retrieval

自训练增强的多因素匹配网络在合成图像检索中的应用

作者：Haokun Wen; Xuemeng Song; Jianhua Yin; Jianlong Wu; Weili Guan; Liqiang Nie

---

摘要

图像组合检索（CIR）任务旨在为给定的多模态查询检索所需的目标图像，即带有对应修改文本的参考图像。现有方法主要存在两个局限性：1）忽视了多个查询-目标匹配因素；2）忽略了现有基准数据集中潜在的未标记参考-目标图像对。解决这些局限性具有挑战性，因为：1）需要在没有直接监督信号的情况下有效建模多个匹配因素；2）需要利用未标记的参考-目标图像对来提高CIR模型的泛化能力。为了应对这些挑战，我们首先提出了一个基于CLIP-Transformer的多因素匹配网络（LIMN），它包括三个关键模块：基于解耦的潜在因子令牌挖掘、基于双重聚合的匹配令牌学习和双重查询-目标匹配建模。随后，我们设计了一种迭代的双重自训练范式，通过以弱监督方式充分利用潜在的未标记参考-目标图像对，进一步提高LIMN的性能。具体来说&#