论文阅读《Foreground-aware Pyramid Reconstruction for Alignment-free Occluded Person Re-identification》

关于行人再识别的遮挡问题：
方法概括
CVPR2020

现有针对遮挡的方法一般包括采用姿态或者分割的信息，提取每个part的特征，再分别比较每个部分的特征
缺点：姿态估计成本，需要对齐
本文没有采用姿态估计的方法

提取特征：首先利用完整的卷积网络(FCN)和金字塔池来提取空间金字塔特征
匹配：提出了一种无对齐匹配方法，即前视金字塔重建法(FPR)，以精确计算被遮挡者之间的匹配分数，尽管他们的尺度和大小不同。FPR利用空间金字塔特征的鲁棒重构误差来衡量两个人之间的相似性。
关键部分：设计了一个遮挡敏感的前景概率发生器，它更关注于无遮挡人体部位，以细化相似度计算，减少遮挡带来的污染。

Architecture of the Proposed Model

it consists of a Full Convolutional Network (FCN), a Pyramid Pooling layer and a Foreground Probability Generator.

FCN

我们抛弃了所有的全连接层来实现只剩下卷积和池化层的全卷积网络(FCN)，全卷积网络仍然保留空间坐标信息，能够提取空间特征，该算法基于resnet - 50[1]，只包含1个卷积层和4个Resblocks层，最后一个Resblock输出空间特征图。

Pyramid Pooling

为了在不考虑尺度变化的情况下获得鲁棒的空间特征，对来自FCN的特征进行进一步的金字塔池化处理，生成空间金字塔特征，金字塔池层由多个不同内核大小的最大池层组成，因此它比输入图像具有更全面的接受域，根据核的大小捕捉局部区域。最后，我们将空间金字塔特征串联起来，得到包含输入的多尺度信息的最终空间特征，从而很好地解决了尺度变化问题。

Foreground Probability Generator

输出的空间特征会受到遮挡和背景的影响。为了保证后续的空间特征匹配和更少的遮挡污染，我们设计了前景概率发生器来获得前面的空间特征。这样的FPM可以区分前景和背景，指导后续的金字塔重构进行稳健的匹配分数计算

Foreground-aware Pyramid Reconstruction

用y线性表示X，因为X是被遮挡图像，Y是没有遮挡的图像

由于背景和遮挡空间特征都被合并到X中，因此背景或遮挡空间特征的重建误差将非常大。结果，平均重建误差增大，导致相似度评分不可靠，导致失配。针对这一问题，我们提出通过赋予背景小的权值来减小背景的影响，同时通过自适应赋予这些区域大的权值来增强前景的效果。因此，我们考虑使用空间前景概率图来指导空间金字塔重构，进一步得到FPR模型。

Model Training