论文阅读（一）：Weakly Supervised Text-based Person Re-Identification

motivation：文本行人重识别任务中，(image,text)文本对有id标签，但是这篇文章的setting是假设只有(image,text)文本对而没有id标签，是一种弱监督任务。

需要解决的问题：Text-based person re-identification需要做跨模态对齐，弱监督的情况也不例外。但是除此之外，还要解决id标签的问题。

那我们来看看针对以上两个问题，原文是怎么处理的。

---

先上pipline图：

 可以看到图中的四个橙色矩形，分别为Text-IoU CMPM，Text-IoU HSM，MPLR。其中CMPM解决的是跨模态对齐的问题，HSM是难样本挖掘，MPLR是聚类分配id的。

下面我们一步一步分析每个模块：

1、MPLR（Mutual Pseudo Label Refifinement）

一种比较直观的方法是先聚类分配id，再用id对比损失约束。比如在文本模态里面的对比损失为：

 原文在此基础上增加了伪标签优化，优化过程如下：

优化过程如图中所说，（1）对于聚类后没有在类中的样本，首先在另一个模态中找到它对应的instance B，（2）如果B在类内，则在类中找到离B最近的instance C，（3）在另一个模态中拿到C对应的instance D,如果D在类内，则A也属于D这一类。

2、Text-IoU CMPM（Text-IoU Guided Cross-Modal Projection Matching）

首先解决Text-IoU的问题：

对于两个文本，先各自提取句子中的名词，再将所有名词的交集除以名词的并集，得到文本的IoU

那这个文本IoU再CMPM中怎么使用的呢：首先看CMPM的损失：

与原版不同的地方在于q_ij的计算方法，原本的计算方法是一种硬标签，现在通过Text-IoU做成软标签，即：

 3、Text-IoU HSM（Text-IoU Guided Hard Sample Mining）

这包括两部分，跨模态的难样本挖掘和模态内的难样本挖掘

（1）跨模态难样本挖掘

首先我们先定义一下什么是相似对，如原文所说：

 如果一个相似对有较高的Text-IoU，那么他们有可能是正样本对，反之，他们就是负样本对，因此正负样本的定义可以如下：

其中Q是评价相似对的阈值，R是区分正负样本的阈值。

有了正负样本，我们希望正样本之间的相似性更高而负样本之间的相似性更低，因此损失为：

（2）模态内难样本挖掘、

和跨模态难样本挖掘类似，只是定义相似对的方式只在单模态内定义。