基于文本的人物检索：CLIP-based Synergistic Knowledge Transfer for Text-based Person Retrieval

论文作者：Yating liu,Yaowei Li,Zimo Liu,Wenming Yang,Yaowei Wang,Qingmin Liao

作者单位：Tsinghua University;Peng Cheng Laboratory;Peking University

论文链接：http://arxiv.org/abs/2309.09496v1

内容简介：

1）方向：文本检索中的人物检索（Text-based Person Retrieval）

2）应用：在给定文本查询的情况下，检索目标人物图像（retrieve the target person images given a textual query）

3）背景：文本检索中的人物检索面临着视觉和语言模态之间的巨大差距，尤其是在处理有限的大规模数据集时。

4）方法：本文引入了基于CLIP的协同知识传递（CSKT）方法，具体包括Bidirectional Prompts Transferring (BPT)模块和Dual Adapters Transferring (DAT)模块。BPT模块通过文本到图像和图像到文本的双向提示和耦合投影来探索CLIP在输入端的知识。DAT模块用于在视觉和语言的多头自注意力（MHSA）输出端传递知识。这种协同的双向合作机制促进了早期特征融合，并有效利用了CLIP的现有知识。

5）结果：CSKT在三个基准数据集上优于现有方法，而训练参数仅占整个模型的7.4%，表明其具有显著的效率、有效性和泛化能力。