《Prototypical Contrastive Learning-based CLIP Fine-tuning for Object Re-identification》

简介这也是关于CLIP的一篇用于目标重识别的文章，是以前面写过的一篇CLIP-ReID文章为基础进行的工作，主要是替换掉了text encoder，用一个Memory机制来代替了，只有一阶段。包含了行人重识别，也是基于图像的，个人认为作为拓展还是可以学学
预备知识：CLIP-ReID、prompt learning、prototypical contrastive learning(PCL)

论文作者：Jiachen Li,Xiaojin Gong
作者单位：College of Information Science and Electronic Engineering, Zhejiang University
paper：https://arxiv.org/abs/2310.17218v1
code：https://github.com/RikoLi/PCL-CLIP

ps：这边建议先熟悉一下这个博客：《CLIP-ReID Exploiting Vision-Language Model for Image Re-identification without Concrete Text Label》之后再来看这篇文章。咳咳，进入正题

一、Motivation

• CLIP模型展现的优越性能，能够学习多种视觉和语言语义概念，并获得显著的迁移能力； 提示学习因其优越的性能和较低的计算成本而受到广泛的关注。
• 在人员/车辆再识别中，类名不存在，因为类标签是ID的索引，缺乏语义信息。
• CLIP-ReID中的提示学习本质上是为每个ID学习一个文本特征质心（如下图a）；并且CLIP-ReID中引入的图像到文本的交叉熵损失作为一种基于质心的损失，将相同ID的图像吸引到各自的文本质心上。
• 建议利用原型对比学习(PCL)损失直接微调CLIP的图像编码器，而无需prompt学习。
  
• 尽管CLIP的训练鼓励文本特征和视觉特征在联合嵌入空间中对齐，但