APR：Improving Person Re-identifification by Attribute and Identity Learning阅读笔记

Improving Person Re-identifification by Attribute and Identity Learning

作者：Yutian Lin, ZL，ZZD, 等人 2017 CVPR

1.摘要：

attribute recognition和reid在行人描述上是common的，仅在粒度上不一样（属性识别主要依靠local aspect而reid主要依靠global表示）。因此，将两个任务combine，达到互相辅助的效果。引入行人属性识别到reid中的挖坑之作。

2.介绍：

为两个大型reid数据集Matket和Duke标注了行人属性，属性是基于ID-level的，即每个人只标注一套属性，而不是每张图像打一套属性(不准，因为例如背包从正面看不出来，但也带来问题，例如看不出背包的图像强制要求网络学习其具有背包的信息，必然导致错误，这里猜想还是每张图像打标签太费事了)。具体属性如下：

以下是比较直观的示例：

当我们识别两个人是不是一个人的时候，其实不会直接得出答案，而是先看他们的属性，是不是同性，或者说他们是不是穿一样的衣服（短时间内）。这有助于我们得出最后的判断。

另外，属性也可以用于格式化文本生成，以此反过来检索行人。
这个数据集也可以被用在 行人生成的GAN网络中。

属性的分布：

贡献：

• ID分类和属性分类进行combine，提出属性行人识别网络(Attritube Person Recognition)-----不仅要正确预测ID，还要正确预测其属性(其属于的那个行人ID的属性-----属性标注式ID-level的)
• 标注了market和duke数据集的行人属性

3.方法：

3.1. Baseline model（下面的这个图2是核心）

作者提出一个baseline 的 attribute 和ID 同时训练的网络，即：

作者提出两个baseline的详细设计分别为：

3.2. Attribute-Person Recognition (APR) Network

网络结构为：

损失计算：

4. 实验

4.1 数据集 + 评估标准

duke（21类属性） ， market（24类属性）； cmc，mAP

4.2. 实现细节

4.3. 评估reid

• 参数分析
  

• 属性之前也是有关联的，比如性别和是不是穿裙子（如下图可以发现，基本穿裙子100%是female，有83%是长发）
  

• 属性学习 有助于 行人重识别的精度
  ** 定性的实验（学到的attention更广了）
  
  ** 定量的实验（Market 从73.69到 84.29）
  
  B1 是只用id做reid的baseline，B2是只用属性做reid的baseline
  APR则是combine。

• 哪一个属性帮助最大呢？是不是每个attribute都有助于reid。
  
  可以看到在Market上bag是影响最大的(没有[w/o]的话性能降低的最多)。而hat由于本来数据总量就比较少，加不加这个属性似乎没有显著影响。
  而在DukeMTMC-reID上则是鞋子的颜色。这也是make sense的，因为我自己实验也发现attention往往会忽略鞋子（因为CNN也是会偷懒的），而attribute强调了这部分。
  

• 在Market-500k上也显示出了良好的性能（性能降低的比别的方法少）（其实market做到90多以后，大家可以试试market500k这个难度真的挺大的）
  
  参考：https://zhuanlan.zhihu.com/p/37931822