论文阅读 之 TCTS: A Task-Consistent Two-stage Framework for Person Search

最新推荐文章于 2023-08-24 11:13:00 发布
最新推荐文章于 2023-08-24 11:13:00 发布
阅读量2.9k 收藏 1
点赞数 2
分类专栏： 行人重识别 文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39220334/article/details/122750993
版权

1. 研究的主要问题

文章尝试解决 Person search 中行人检测和行人重识别阶段不一致的问题。通用的检测器没有特别关注 query 目标，通常会将所有的行人检测出来。通用的 Reid 模型也是在手动绘制的边界框上进行训练的，而实际中检测器生成的边界框往往不像手动标注的边界框一样完美，经常存在行人部分缺失和干扰因素。

为此，文章提出了 Task-Consist Two-Stage (TCTS) 行人检索框架，包括 identity-guided query (IDGQ) 检测器 和 Detection Results Adapted (DRA) 的 Reid 模型。IDGQ 生成 query-like 的边界框，DRA 则是在混合手动绘制边界框和检测器生成的部分缺失和干扰因素行人的数据集上进行自适应训练的。

  • 待解决问题1： 没有特别关注 query 目标

检测阶段存在的一致性问题：通用的检测器会检测到很多非query行人（红色检测框），导致生成一个大规模的 gallery 给 re-ID 阶段。造成了很多不必要的资源消耗，只有 query-like 的检测框对 re-ID 才是有价值的。

在这里插入图片描述

  • 待解决问题2： Reid 模型的训练数据集

重识别阶段存在的一致性问题：通常的 Reid 数据集如第一行所示，实际搜索过程中，检测框会受不对齐、遮挡和身体部分缺失的影响。Reid 模型的训练数据和实际数据存在不一致的问题。
在这里插入图片描述

2. 主要工作

针对行人检测和重识别阶段存在的一致性问题，作者提出了 Task-Consist Two-Stage (TCTS) 行人检索框架。主要包括 IDGQ检测器 和 DRA 行人重识别模型。

在这里插入图片描述

2.1 Identity-Guided Query Detector

IDGQ 检测器生成 proposal 候选框并计算 query 相似度分数和前景分数，从而得到 query-like 的边界框（query 相似度分数和前景分数较高的proposal i），分数计算如式（1）所示。传给 DRA Reid 模型。

在这里插入图片描述
为了提高 query 相似度的计算精度，提出了 IDGQ loss。

在这里插入图片描述
在这里插入图片描述

2.2 Detection Results Adapted Re-ID Model

为了训练一个 DRA re-ID 模型，构建了一个包括 手动绘制检测框 和 检测器检测到的检测框的训练集。混合训练集中的训练样本分为 3 类， 精确的手动检测框，没对齐的检测框，干扰因素的检测框。

为了使模型更好地收敛，DRA re-ID 模型在不同阶段关注不同的训练数据。Example reweight 通过调整样本的重要性来实现DRA re-ID 模型随训练时间改变训练数据的需求，称为 DRA-ER。

权重因子 w 的计算方法如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. 实验

  • 实验一：在 CUHK-SYSU 数据集上，和 SOTA 方法的比较

实验结果表明：two-step 的框架一般会比 end-to-end 的框架性能好，主要原因是 joint learning 的两个任务间的矛盾影响了模型的优化。如 end-to-end 的方法 “QEEPS” 通过基础网络生成 query 特征，而不是 ClsIdenNet 。相比而言，IDGQ 可以比 QRPN 更加关注目标 query。

TCTS 在所有方法中，mAP scores 和 rank-1 accuracy 都达到了最优。为了解决检测框对于行人重识别任务是次优的问题，Re-ID Driven 提出了 learnable refinement network 。而本文提出的 TCTS 通过 IDGQ 减少对 query 的误检，DRA 使模型对于更加不可避免的检测错误更鲁棒，这些优势显著提高了性能。

在这里插入图片描述

  • 实验二：不同 gallery 尺寸下，模型在 CUHK-SYSU 数据集上的 mAP 表现。

在 6 种 gallery sizes 下，TCTS 都表现良好，证明了模型的鲁棒性。

在这里插入图片描述

  • 实验三：在 PRW 数据集上，和 SOTA 方法的比较

在这里插入图片描述

  • 实验四：IDGQ 检测器的有效性

在 IDGQ 检测器中, identity 分支抑制了非 query 的边界框，因此 re-ID 阶段的 gallery size 是可控的。
最高的 mAP 说明 identity 分支在这种情况下可以输出准确的查 query similarity scores，这证明了 IDGQ loss 的有效性。
在这里插入图片描述

  • 实验五：Hardness Factor 和 Focal Loss 的对比

Hardness Factor 将简单样本的损失降低到一个很小的值，但不会像 Focal Loss 那样降低到 0。 考虑到容易正例的 identities 不同，训练集规模有限，Hardness Factor 保持了训练样例的多样性。
在这里插入图片描述

  • 实验六：DRA-ER 算法的有效性

直接在 mixed set 上训练不能得到性能上的提升，还没有在 Hand-drawn 上训练的效果好。而 DRA-ER 可以获得比 Hand-drawn 更好的性能。
在这里插入图片描述

  • 实验七： 不同训练阶段 up-weighted 和 down-weighted 样本

在训练的早期阶段，Hand-drawn 和准确的 detected boxes由于高质量因子而被上调。 在训练的后期，DRA-ER 平衡了简单示例和一些困难检测框之间的权重。DRA-ER 的关注点从精确框变为难检测框。 在epoch 160，这两种box终于有了相似的权重。
在这里插入图片描述

4. 结论

文章指出了 two-step person search 框架的一致性问题。为了解决问题，提出了 TCTS 框架。IDGQ 检测器生成 query-like 边界框，实现了更高的 query 召回率并减少了边界框的数量。DRA Reid 模型由于训练数据和 DRA-ER 算法达到了更好的性能。TCTS 在两个行人搜索基准数据集 CUHK SYSU 和 PRW 上达到了最先进的性能。

star_function
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
《A two-stage 3D Unet framework for multi-class segmentation on full resolution image》2018
sdusgq的博客
01-02 355
《A two-stage 3D Unet framework for multi-class segmentation on full resolution image》 这里写目录标题一、Abstract二、Method三、References四、展望 一、Abstract Deep convolutional neural networks (CNNs) have been intensively used for multi-class segmentation of data from differ
CVPR2020 | 中科院VIPL实验室录取论文详解
深度学习大讲堂
03-09 2192
编者按：近日，计算机视觉顶会 CVPR 2020 接收论文结果揭晓，从 6656 篇有效投稿中录取了 1470 篇论文，录取率约为 22%。中科院VIPL实验室共七篇论文录取，内容涉及弱...
实验代做 行人识别_CVPR 2020 | 中科院VIPL实验室录取论文详解
weixin_35949264的博客
12-17 488
论文涵盖弱监督语义分割、活体检测、手势识别、视觉问答、行人搜索、无监督领域自适应方法等前沿领域。编者按：近日，计算机视觉顶会 CVPR 2020 接收论文结果揭晓，从 6656 篇有效投稿中录取了 1470 篇论文，录取率约为 22%。中国科学院计算技术研究所视觉信息处理与学习研究组(VIPL实验室)共七篇论文录取，内容涉及弱监督语义分割、活体检测、手势识别、视觉问答、行人搜索、无监督领域自适应方...
TCTS: A Task-Consistent Two-stage Framework for Person Search 阅读笔记
dengdeliao的博客
12-23 465
Person Search 论文整理： 不同于preson re-id，search任务在于再整个场景图中找到特定行人，其实根本就是检测和re-id任务整合为同一任务，更加符合现实场景的需求。 主要的dataset： PRW： Zheng L, Zhang H, Sun S, et al. Person re-identification in the wild[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Rec
Double FCOS: A Two-Stage Model UtilizingFCOS for Vehicle Detection in VariousRemote Sensing Scenes
weixin_36670529的博客
05-23 203
摘要 在各种遥感场景中进行车辆检测是一项具有挑战性的任务。各种遥感场景与多场景、多质量、多尺度和多类别的图像混杂在一起。车辆检测模型存在候选框不足、正建议采样弱和分类性能差的问题，导致其应用于各种场景时检测性能下降。更糟糕的是，没有这样一个覆盖各种场景的数据集，用于车辆检测。本文提出了一种称为双完全卷积一阶段目标检测（FCOS）的车辆检测模型和一个称为多场景、多质量、多尺度和多类别车辆数据集（4MVD）的车辆数据集，用于各种遥感场景中的车辆检测。双FCOS是一种基于FCOS的两阶段检测模型。在RPN阶段
A Two-stage Framework and RL-based Optimization Algorithms for Complex Scheduling Problems论文笔记
m0_48408203的博客
09-22 309
A Two-stage Framework and Reinforcement Learning-based Optimization Algorithms for Complex Scheduling Problems. Y He, G Wu, Y Chen, W Pedrycz - arXiv preprint arXiv:2103.05847, 2021 - arxiv.org 论文下载链接： 在本研究中，我们开发了一个两阶段的框架two-stage framework，其中强化学习（RL）和传统
论文阅读 FOCUS-AND-DETECT: A SMALL OBJECT DETECTION FRAMEWORK FOR AERIAL IMAGES
最新发布
weixin_45935290的博客
08-24 838
航空影像中的目标检测仍然是一项具有挑战性的任务。航空影像中的特定问题使得检测更加困难，例如小尺寸物体、密集排列的物体、不同尺寸和方向的物体等。为了解决小尺寸物体检测问题，我们提出了一个名为“Focus-and-Detect”的两阶段目标检测框架。第一阶段由一个受高斯混合模型监督的目标检测器网络组成，生成构成聚焦区域的物体群集。第二阶段同样是一个目标检测器网络，预测聚焦区域内的物体。我们还提出了Incomplete Box Suppression（IBS）方法，以克服区域搜索方法的截断效应。
【论文阅读】Single- and Cross-Modality Near Duplicate Image PairsDetection via Spatial Transformer Compar
Billie使劲学的博客
04-10 451
题目：基于空间变换比较CNN的单模态和交叉模态近重复图像对检测 目录 1. Introduction 2. Related Work 2.1. Two-Stage Strategies 2.2. End-To-End Strategies 3. Methodology 3.1. Triple-Stream Framework 3.2. Spatial Transformer 3.3. Loss Function 4. Experiments 4.1. Datasets and Set.
论文研究-TCTS：基于FPGA的ETPM命令转换机制.pdf
07-22
该方案对原TPM功能进行了精简，提高了ETPM资源利用率和效率，并在此基础上提出了一种ETPM命令转换机制（TPM command transfer scheme，TCTS），使基于标准TPM开发的应用程序不作或少作修改就能直接用在该ETPM上。...
MIL-STD-188-114A_NOTICE-1.021121.PDF
08-02
* 审核活动：Project TCTS-1142。 * 文件的分发：无限制，适合公众发布。 * 文件的下载来源：http://www.everyspec.com。 知识点： 1. MIL-STD-188-114A是美国军方的一项标准，规定了数字接口电路的电气特性规范。...
MIL-STD-188C_NOTICE-3.016209.PDF
08-02
准备活动由陆军的CR项目编号TCTS-i200负责，而具体的分配信息未提供。文件可在http://www.everyspec.com网站上公开下载。 【详细说明】： MIL-STD-188C是一个过时的军事通信标准，它在1969年11月24日制定，主要...
MIL-STD-188_116-4_NOTICE-1.024878.pdf
08-02
文件中提到的“Preparing activity: JTC3A-JT (Project TCTS-1160)”指的是负责编制此标准的组织——联合战术通信系统第三分部J（TCTS-1160项目），这可能是一个跨军种的通信技术研发项目。 “DISTRIBUTION ...
TCTS: A Task-Consistent Two-stage Framework for Person Search
ZJpingfanzhilu的博客
08-16 282
该篇文章的解读我放在知乎上了链接.
REID 相关论文资源
t20134297的博客
05-24 899
https://www.ctolib.com/amp/bismex-Awesome-person-re-identification.html CVPR2020 The papers in this section will be categorized soon. Person re-identification 1)"Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Ident..
论文阅读：CVPR2016 Paper list
热门推荐
一亩半分地
05-12 8万+
CVPR2016 accepted paper list
目标检测框架one stage和two stage
Just_do_myself的博客
06-01 860
目前已提出的目标检测框架分为两类：One Stage和Two Stage，其中Two Stage框架先于One Stage被提出。下面我们分别介绍一下这两种框架，然后做一个比较。 One Stage One Stage 的算法框架是在backbone提取得到的feature maps上直接预测物体的位置(x, y, w, h)，物体类别，物体置信度，经过单次检测即可得到最终的检测结果。常见的有SSD、Retina-Net以及YOLO系列等。 Two Stage 相比较于One Stage，Two Stage
论文阅读：AAAI 2021 SeqNet 行人搜索 SOTA论文
张齐贤的博客
11-20 6795
Sequential End-to-end Network for Efficient Person Search Zhengjia Li 李正甲 苗夺谦 同济大学 座位挨着甲哥的菜鸡，希望跟着沾光 论文地址代码地址：https://zhuanlan.zhihu.com/p/358152127 Abstract 行人搜索旨在共同解决人员检测和人员重新识别（re-ID）问题。现有的工作已经设计了基于Faster R-CNN的端到端网络。然而，由于Faster R-CNN的并行结构，提取的特征来自于区域提案网络
小白入门计算机视觉系列——ReID(一)：什么是ReID？如何做ReID？ReID数据集？ReID评测指标？
贝壳er的博客
09-20 4万+
ReID(一)：什么是ReID？如何做ReID？ReID数据集？ReID评测指标？        小白入门系列是我和朋友准备一起做的一块内容，分模块分专题·，比如计算机视觉中的目标检测，ReID，OCR，语义分割以及大火大热的AutoML等等。        本次带来的是计算机视觉中比较热门的重点的一块，行人重识别（...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值