遮挡行人重识别论文阅读(2018-2019)

1.OCCLUDED PERSON RE-IDENTIFICATION（ICME2018）

https://arxiv.org/abs/1804.02792

首次提出了遮挡行人重识别的概念，主要贡献为，

1.提出Occlusion Simulator（遮挡模拟器），采用随机图片的部分区域来进行遮挡，使用完整行人图片来产生遮挡行人图片。

2.提出multi-task losses（多任务损失），输出预测行人ID和是否遮挡，借此来提高模型对特征的提取能力。

2.Pose-Guided Feature Alignment for Occluded Person Re-Identification（ICCV2019）（百度，悉尼科技大学）

主要贡献为：

1.提出了引入姿态估计器的双分支网络（PGFA） ，上方的姿态引导全局分支，使用姿态估计的关键点heat map对骨干网络提取的特征图进行加权池化，池化后得到姿态引导全局特征，与特征图直接池化得到的全局特征concat后得到分支特征；下方的部分特征分支与PCB类似，得到多个水平切块特征。

2.在匹配阶段对关键点检测置信度设定阈值，仅对比具有共享区域的局部特征（两张图的某一局部区域内都含有置信度高于阈值的特征点）

 3.Foreground-aware Pyramid Reconstruction for Alignment-free Occluded Person Re-identification(ICCV2019 中科院模式识别所)

1.行人图片不需要resize就直接送入一个全卷积网络（FCN）得到特征图（大小为h*w*d），之后利用四个大小不同的卷积核进行池化得到特征，特征个数为：

                                                               ​​​​​ 

2.在另一个分支前景概率预测模型，利用特征图做一个像素级二分类，得到前景概率图H，这里的标签是利用一个训练好的语义分割模型得到结果，卡阈值打一个hard的标签。

3.匹配阶段，希望建立全身图的特征Y到遮挡图特征X的线性映射W，即：

                                ​​​​​​​

利用最小二乘法求解W，那么重建的W为：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​  

重建损失为：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​

这里存在一个问题，即遮挡图得到的特征X中含有背景特征，而Y中是没有的，对于这些背景特征其重建误差就会很大，所以利用之前得到的前景概率图H进行一个加权，即降低背景特征的重建损失权重，增大前景特征的重建损失权重。

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

最终模型的损失由重建损失和三元组损失构成。