局部可见感知模型——VPM
论文摘要
论文中考虑了行人重新识别 (re-ID) 的一个现实问题,即局部行人重识别问题。在局部行人重识别场景下,需要探索数据库图像中包含整体人物的比例大小。如果直接将局部行人图像与整体行人图像进行比较,则极端空间错位问题将显著地损害特征表征学习的判别能力。针对这个问题,本文提出了一个局部可见感知模型 (VPM),通过自监督学习感知可见区域内的特征,来解决局部行人重识别问题。该模型利用可见感知的特性,能够提取区域特征并比较两张图像的共享区域 (共享区域在两张图像上都是可见区域),从而局部行人重识别问题上取得更好的表现。总的来说,VPM 有两大优势:一方面,与学习全局特征的模型相比,VPM 模型通过学习图像区域特征,能够更好地提取一些细粒度特征信息。另一方面,利用可见感知特征,VPM 能够估计两个图像之间的共享区域,从而抑制空间错位问题。通过大量的实验结果验证,VPM 模型能够显著地改善特征表征的学习能力,并且在局部和整体行人重识别场景中,均可获得与当前最先进方法相当的性能。
提出问题
行人再识别需要已经可以刷到很高的精度,但是现实中存在的问题依旧很多,比如遮挡、行人衣物的变换等。现在行人局部问题成为了时下比较流行的论文趋势。本文提出了一个VPM自适应感知器,可以摒弃遮挡部分,只提取共同部分的特征进行比较。如下图所示,提取被遮挡的部分不仅在最终的特征表示中起不到良好的效果,还会引入无用信息对结果进行干扰。
解决问题
(非常巧妙,但是有些细节问题没有看懂,欢迎留言)
本文基于以上想法,提出一个VPM自适应网络结构,如下图所示,
具体步骤如下:
1,将一张行人的整体图像分割成为几个部分(以三个部分为例,你想分几个部分都是可以设置的),再将局部图像送入ResNet50网络中进行特征提取,输出特征张量图T
2,对T中的每一个像素g进行使用1×1的卷积核和Softmax函数进行预测,预测这个像素到底属于整体图像的哪个部分,得到三张概率
图(对应整体图像的三个部分)
3,(1)求概率图上所有的概率求和,获得分数C(可视分数),C越大表示这个map输入整体图像的哪个部分的概率就越大。
(2)特征提取器,利用map和T加权求和,为每一个区域生成相应的特征。
4,核心思想,如何计算共同区域实现分类呢?
Ci是包含第i部分的概率,Di是两个图片第i部分的距离。可以看出来,只要有一张图片不含有第i部分(Ci很小),那么Di对于距离的贡献就非常小了,这样便实现了这篇文章的核心思想。
实验过程
(1)训练部分
[1] 将对应的完整图像提前设计好几个部分,方便后面对T中的每个g
赋予标签。
[2] 对完整的行人图像随机剪裁,再将剪裁后的图像调整大小成H×W。(随机剪裁可以排除一些具体设定),然后利用ROI将剪裁后的图像投影到张量T上(文中有个具体的过程,但是不知道在说啥,不是说好用ResNet50进行特征提取了吗?)
[3] 损失函数主要是使用每个像素的交叉熵、每个部分的特征向量预测行人身份的损失,以及三重损失,如下图所示
利用VPM得到最后分数和特征向量之后,利用每个区域的特征向量分类损失和共同区域的三重损失进行训练。整体损失是三个损失的和。
[4] 在Market-1501和DukeMTMC-reID上训练,在partial re-ID 行人数据库进行比较
最终结果
效果还是不错的,比较灵活,详细就见文章吧
感悟
这篇文章的精髓就在于可以自动识别共享区域,与局部分割相比做法简单,节约计算成本。从一定程度上解决了空间失陪和图像不完整的问题。去年18年有一个中科院的论文想法也是差不多,但是做法不太一样,回去再看,补一篇随笔。
仅是一点总结和想法,欢迎大家吐槽批评,做行人重识别方法的同学可以加个V:568111132,备注Re-ID(CSDN),以此共勉。