1. 研究的主要问题
文章尝试解决 Person search 中行人检测和行人重识别阶段不一致的问题。通用的检测器没有特别关注 query 目标,通常会将所有的行人检测出来。通用的 Reid 模型也是在手动绘制的边界框上进行训练的,而实际中检测器生成的边界框往往不像手动标注的边界框一样完美,经常存在行人部分缺失和干扰因素。
为此,文章提出了 Task-Consist Two-Stage (TCTS) 行人检索框架,包括 identity-guided query (IDGQ) 检测器 和 Detection Results Adapted (DRA) 的 Reid 模型。IDGQ 生成 query-like 的边界框,DRA 则是在混合手动绘制边界框和检测器生成的部分缺失和干扰因素行人的数据集上进行自适应训练的。
- 待解决问题1: 没有特别关注 query 目标
检测阶段存在的一致性问题:通用的检测器会检测到很多非query行人(红色检测框),导致生成一个大规模的 gallery 给 re-ID 阶段。造成了很多不必要的资源消耗,只有 query-like 的检测框对 re-ID 才是有价值的。
- 待解决问题2: Reid 模型的训练数据集
重识别阶段存在的一致性问题:通常的 Reid 数据集如第一行所示,实际搜索过程中,检测框会受不对齐、遮挡和身体部分缺失的影响。Reid 模型的训练数据和实际数据存在不一致的问题。
2. 主要工作
针对行人检测和重识别阶段存在的一致性问题,作者提出了 Task-Consist Two-Stage (TCTS) 行人检索框架。主要包括 IDGQ检测器 和 DRA 行人重识别模型。
2.1 Identity-Guided Query Detector
IDGQ 检测器生成 proposal 候选框并计算 query 相似度分数和前景分数,从而得到 query-like 的边界框(query 相似度分数和前景分数较高的proposal i),分数计算如式(1)所示。传给 DRA Reid 模型。
为了提高 query 相似度的计算精度,提出了 IDGQ loss。
2.2 Detection Results Adapted Re-ID Model
为了训练一个 DRA re-ID 模型,构建了一个包括 手动绘制检测框 和 检测器检测到的检测框的训练集。混合训练集中的训练样本分为 3 类, 精确的手动检测框,没对齐的检测框,干扰因素的检测框。
为了使模型更好地收敛,DRA re-ID 模型在不同阶段关注不同的训练数据。Example reweight 通过调整样本的重要性来实现DRA re-ID 模型随训练时间改变训练数据的需求,称为 DRA-ER。
权重因子 w 的计算方法如下:
3. 实验
- 实验一:在 CUHK-SYSU 数据集上,和 SOTA 方法的比较
实验结果表明:two-step 的框架一般会比 end-to-end 的框架性能好,主要原因是 joint learning 的两个任务间的矛盾影响了模型的优化。如 end-to-end 的方法 “QEEPS” 通过基础网络生成 query 特征,而不是 ClsIdenNet 。相比而言,IDGQ 可以比 QRPN 更加关注目标 query。
TCTS 在所有方法中,mAP scores 和 rank-1 accuracy 都达到了最优。为了解决检测框对于行人重识别任务是次优的问题,Re-ID Driven 提出了 learnable refinement network 。而本文提出的 TCTS 通过 IDGQ 减少对 query 的误检,DRA 使模型对于更加不可避免的检测错误更鲁棒,这些优势显著提高了性能。
- 实验二:不同 gallery 尺寸下,模型在 CUHK-SYSU 数据集上的 mAP 表现。
在 6 种 gallery sizes 下,TCTS 都表现良好,证明了模型的鲁棒性。
- 实验三:在 PRW 数据集上,和 SOTA 方法的比较
- 实验四:IDGQ 检测器的有效性
在 IDGQ 检测器中, identity 分支抑制了非 query 的边界框,因此 re-ID 阶段的 gallery size 是可控的。
最高的 mAP 说明 identity 分支在这种情况下可以输出准确的查 query similarity scores,这证明了 IDGQ loss 的有效性。
- 实验五:Hardness Factor 和 Focal Loss 的对比
Hardness Factor 将简单样本的损失降低到一个很小的值,但不会像 Focal Loss 那样降低到 0。 考虑到容易正例的 identities 不同,训练集规模有限,Hardness Factor 保持了训练样例的多样性。
- 实验六:DRA-ER 算法的有效性
直接在 mixed set 上训练不能得到性能上的提升,还没有在 Hand-drawn 上训练的效果好。而 DRA-ER 可以获得比 Hand-drawn 更好的性能。
- 实验七: 不同训练阶段 up-weighted 和 down-weighted 样本
在训练的早期阶段,Hand-drawn 和准确的 detected boxes由于高质量因子而被上调。 在训练的后期,DRA-ER 平衡了简单示例和一些困难检测框之间的权重。DRA-ER 的关注点从精确框变为难检测框。 在epoch 160,这两种box终于有了相似的权重。
4. 结论
文章指出了 two-step person search 框架的一致性问题。为了解决问题,提出了 TCTS 框架。IDGQ 检测器生成 query-like 边界框,实现了更高的 query 召回率并减少了边界框的数量。DRA Reid 模型由于训练数据和 DRA-ER 算法达到了更好的性能。TCTS 在两个行人搜索基准数据集 CUHK SYSU 和 PRW 上达到了最先进的性能。