Instance Guided Proposal Network for Person Search 阅读笔记

Instance Guided Proposal Network for Person Search 阅读笔记

CVPR 2020 Wenkai Dong, Zhaoxiang Zhang, Chunfeng Song, Tieniu Tan

Problem

search任务的problem大差不差。这篇文章认为现在的方法主要分为基于检测的方法和基于search的方法。
基于检测的方法有个缺点就是检测中所提出的proposal过多会对后序的reid造成不好的影响，存在着许多干扰因素。
基于search的方法会相对减少proposal，但是有的模型每张image只会定位一个人，当有相似外观的人出现时，就会检测错误，同时，多次运行模型也是低效的。

Motivation

集成上述两方法的优点，既可以利用query减少proposal，也在必要时尽可能的保留多个proposal。
为此作者引入query的信息（利用一个孪生网络，并提出一种 improved cross-correlation layers (ICCL)来缓解参数不平衡问题），给定一个场景的gallery，通过相应的相似度排序来减少proposal，保证proposal与traget的相似度。在其中，一些relationships也起到了帮助，作者提出一个局部模块，用于proposal-proposal的关系，一个全局模块，用来描述query-scene关系。

Contribution

提出IGPN，该网络将查询的人员信息集成到检测网络中，以学习人员提议与目标人员之间的相似度。
提出ICCL来缓解Siamese-RPN中参数分布的不平衡。
设计了一个局部关系块和一个全局关系分支来分别利用proposal-proposal和query-scene关系。

Method

架构主要也是将孪生引入faster rcnn，在开始，利用一个siamese RPN导入场景和query的信息。两特征在relation模块计算proposal与query之间的关系，proposal与proposal之间的关系。
注意，这个模型作为detection网络时，能够提供较少且正确的proposal，和单独训练的reid网络组合，对于search任务来说是非端到端的网络。

Siamese RPN中，提出的 Improved Cross-correlation Layers可以有效的较少学习参数，并且不影响精度


个人觉得这样改是为了适应这个网络模型，网络的query和scene的feature maps的尺寸是不一样的，不能用单一的参数模型进行卷积，故而进行改进，分为了两部分，第一部分输出两特征的积，根据不同的query而改变，第二部分是在推理阶段share所有的query。
公式的第一行目的就是从query中获取特定的信息，例如衣服颜色。第二行可以从query中学习到共同的信息，例如人体信息

Relation Modeling
Local relation模块用来计算proposal与proposal之间的关系。
Global relation分支用来计算query与scene之间的关系。
在partII之后通过矩阵运算和全连接层得到r1，也就是关系特征，再利用r1和proposal的特征去得到proposal之间的关系。
整个场景的全局信息可能有益于人员搜索任务。例如，如果模型确定场景中没有目标，则模型可以为来自场景的建议提供较低的相似性评分。

这篇文章和之前的一篇end-to-end的一篇很像（Query-guided end-to-end person search），处理问题也是一样的，同样是利用了query，不过作者认为由于检测部分的原因，很难将更细粒度的信息(例如身体部位信息)合并到网络中。然而，在更灵活的两阶段方法中，可以通过使用基于零件的重新标识方法来利用零件信息，例如PCB网络。

Experence

实验略
作者做了大量的实验证明proposal的数量和query的信息会影响着结果。
reid模型选择了resnet50和PCB网络

文章也说出了他的一些不足。最主要的是
IGPN is instance-guided so it is inefficient for multiple queries if the gallery is shared.