【CVPR2023】Selective Query Recollection：增强基于查询的目标检测的训练

论文题目：Enhanced Training of Query-Based Object Detection via Selective Query Recollection

代码：https://github.com/Fangyi-Chen/SQR

作者在知乎的导读：https://zhuanlan.zhihu.com/p/610347565

导读

传统目标检测方法需要大量手工处理步骤，限制了端到端优化。这篇论文探索了一个引人注目的领域——查询式目标检测。在查询式目标检测中，模型在解码过程的不同阶段表现出不同的预测准确度。这涉及到查询式目标检测中的一个难题：在预测目标目标时，随着解码过程的深入进行，后期解码阶段出现错误的情况，而中间解码阶段则能够准确预测。

论文提出了两个关键问题：一是不同阶段的训练负担分配不均衡，二是解码器的顺序结构导致中间查询的修正会级联到后续阶段，增加了训练的难度。为了解决这些问题，本文引入了"Selective Query Recollection (SQR)"作为一种训练策略，它通过积累中间查询并有选择地将它们提供给后续阶段，以改进训练效果。这种策略成功解决了查询式目标检测中的性能问题，为实现更准确的目标检测技术提供了新思路和方法。

本文贡献

• 定量研究问题现象：论文首次详细研究了查询式目标检测中的一个重要现象，即模型在解码过程的不同阶段出现不同的预测准确度。本文通过实验和数据分析，定量地表现了这一现象，为进一步的研究提供了基础。

• 识别训练限制：论文指出，这一被忽视的现象源于两个训练方面的限制：不同阶段的训练负担分配不均衡，以及解码器的顺序结构导致中间查询的修正会级联到后续阶段，增加了训练的难度。

• 提出有效的训练策略 SQR：为解决上述问题，论文提出了"Selective Query Recollection (SQR)"作为一种训练策略。SQR通过积累中间查询并有选择地将它们提供给