论文泛读: Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement

Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement

论文链接: https://openaccess.thecvf.com/content/CVPR2024/html/Hou_Salience_DETR_Enhancing_Detection_Transformer_with_Hierarchical_Salience_Filtering_Refinement_CVPR_2024_paper.html
代码链接: https://github.com/xiuqhou/Salience-DETR

论文中的知识补充

主要包含没有了解的论文中提到的知识(相关工作)

动机

现状

• DETR方法在端到端方式显著提高了检测性能。它们的主流两阶段框架执行密集的自注意力并选择一部分查询用于稀疏交叉注意力，这被证明可有效提升性能，但也引入了沉重的计算负担和对稳定query选择的强依赖性。

问题

• 由于两阶段初始化中所选query和对象之间的不匹配，次优的两阶段选择策略会导致尺度偏差和冗余。
• 由于查询缺乏区分性，这会导致性能不佳。这些问题是由于检测Transformer中的两种类型的冗余：编码冗余和选择冗余。对背景query执行自注意力可能会引入不相关和缺乏区分性的信息，从而导致编码冗余。两阶段初始化选择的查询与实际对象并不完全一对一匹配，即选择冗余。

贡献

• 提出了分层显著性过滤细化，它仅对经过过滤的判别行query执行Transformer,从而在计算效率和精度之间取得更好的平衡。过滤过程通过一种新颖的尺度无关显著性监督来克服尺度偏差。
• 为了弥补query之间的寓意错位，引入了精心设计的query细化模块，以实现稳定的两阶段初始化。

方法

• 提出了一种具有分层显著性过滤细化的新型检测器，名为Salience DETR。
• 引入了一种显著性引导的监督，该监督与尺度无关，以克服query过滤过程中的尺度偏差。
• 在上面的监督下，提出了一种分层query过滤机制，通过编码选定的query来减少编码冗余
• 为了弥补query之间的语义错位，提出了三个精心设计的模块，从多尺度特征、前景-背景差异和选择策略的角度来细化查询。

Salience DETR结构图:

Cross-level token fusion