简介这也是关于CLIP的一篇用于目标重识别的文章,是以前面写过的一篇CLIP-ReID文章为基础进行的工作,主要是替换掉了text encoder,用一个Memory机制来代替了,只有一阶段。包含了行人重识别,也是基于图像的,个人认为作为拓展还是可以学学
预备知识:CLIP-ReID、prompt learning、prototypical contrastive learning(PCL)
CVPR 2023
论文作者:Jiachen Li,Xiaojin Gong
作者单位:College of Information Science and Electronic Engineering, Zhejiang University
paper:https://arxiv.org/abs/2310.17218v1
code:https://github.com/RikoLi/PCL-CLIP
ps:这边建议先熟悉一下这个博客:《CLIP-ReID Exploiting Vision-Language Model for Image Re-identification without Concrete Text Label》之后再来看这篇文章。咳咳,进入正题
一、Motivation
- CLIP模型展现的优越性能,能够学习多种视觉和语言语义概念,并获得显著的迁移能力; 提示学习因其优越的性能和较低的计算成本而受到广泛的关注。
- 在人员/车辆再识别中,类名不存在,因为类标签是ID的索引,缺乏语义信息。
- CLIP-ReID中的提示学习本质上是为每个ID学习一个文本特征质心(如下图a);并且CLIP-ReID中引入的图像到文本的交叉熵损失作为一种基于质心的损失,将相同ID的图像吸引到各自的文本质心上。
- 建议利用原型对比学习(PCL)损失直接微调CLIP的图像编码器,而无需prompt学习。
- 尽管CLIP的训练鼓励文本特征和视觉特征在联合嵌入空