Enhanced training of query-based object detection via selective query recollection

okimaru

于 2024-07-20 20:48:37 发布

阅读量510

点赞数 13

分类专栏：深度学习文章标签：目标检测

本文链接：https://blog.csdn.net/okimaru/article/details/140577185

版权

深度学习专栏收录该内容

35 篇文章 0 订阅

订阅专栏

Abstract

本文研究了基于查询的目标检测器在最后解码阶段预测错误，而在中间阶段预测正确的现象。我们回顾了训练过程，并将这种被忽视的现象归因于两个限制:缺乏训练重点和解码序列的级联错误。我们设计并提出了一种简单有效的基于查询的目标检测器训练策略——选择性查询回忆(SQR)。随着解码阶段的深入，它会累积收集中间查询，并有选择地将查询转发到顺序结构以外的下游阶段。这样，SQR将训练重点放在后期阶段，并允许后期阶段直接处理来自早期阶段的中间查询。SQR可以很容易地插入到各种基于查询的对象检测器中，并在保持推理管道不变的情况下显著提高它们的性能。因此，我们将SQR应用于Adamixer、DAB-DETR和deformation - detr的各种设置(主干、查询数量、调度)，并始终带来1:4 ~ 2:8的AP改进。

网络架构图

图4。(a)逐级解码查询的基本流程，适用于训练和测试。(b).密集查询回忆。(c).选择性查询回忆。

methods

查询结构：在 SQR 中，查询分为两部分：内容，它与特征图交互以产生高级对象信息，以及有助于定位和缩放对象的参考点。这种双重结构有助于缩小检测过程中特征交互的范围 [T1]。
回忆过程：SQR 在模型的每个阶段回忆查询。这意味着每个查询的内容和相应的参考都会保留并在后续阶段使用。回忆过程允许查询数量呈几何级增长，从而增强模型从检测过程的各个阶段学习的能力 [T1]、[T3]。
选择性收集：与不加区别地收集所有中间查询的传统方法不同，SQR 选择性地收集查询。这种选择性方法缓解了两个问题：与查询的几何增长相关的计算成本，以及将早期查询引入模型的后期阶段时可能出现的潜在学习差距。通过专注于对学习过程贡献最大的中间查询，SQR 提高了训练效率和模型性能 [T4]。
实验验证：通过对各种模型（包括 Adamixer、DAB DETR 和 Deformable DETR）的实验验证了 SQR 的有效性。结果表明，与基线方法 [T2]、[T5] 相比，SQR 显著提高了这些模型的平均精度 (AP)。

results

性能改进：SQR 持续增强了各种基于查询的对象检测器的性能，包括 Adamixer、DAB-DETR 和 Deformable-DETR。平均精度 (AP) 改进范围从 1.4 到 2.8 AP，涉及不同的设置，例如主干架构、查询数量和训练计划的变化 [T2]、[T3]。
对级联错误的稳健性：通过允许模型的后期阶段与早期阶段的中间查询一起工作，SQR 减轻了通常发生在顺序解码过程中的级联错误的影响。这种方法有助于在模型经历其阶段时保持或提高预测的准确性 [T1]、[T3]。
通用性：该方法被证明可以轻松集成到现有的基于查询的对象检测框架中，而无需改变推理流程，从而使其成为该领域各种模型的多功能增强功能 [T2]。

conclusion

认识局限性：作者强调，基于查询的物体检测器中的最佳检测并不总是来自最后的解码阶段。相反，从中间阶段导出时，它们有时可能更准确。这一观察结果归因于两个主要限制：缺乏对后期阶段的训练重点以及由解码过程的顺序性引起的级联错误 [T3]。
SQR 的有效性：SQR 是一种简单而有效的训练策略，可以解决这些限制。通过选择性地回忆和利用中间查询，SQR 增强了训练过程，使后期阶段能够从早期阶段提供的信息中受益。这种方法可以提高模型的收敛性和整体性能 [T3]。
显著的性能提升：SQR 的实施显著提高了各种基于查询的对象检测模型的性能，证明了其在提高检测准确性方面的有效性 [T3]。
对该领域的贡献：研究结果表明，SQR 可以成为基于查询的对象检测器训练策略的宝贵补充，提供一种在保持推理管道完整性的同时提高其性能的方法 [T2]、[T4]。