作者 | AI引擎 编辑 | AI视界引擎
点击下方卡片，关注“自动驾驶之心”公众号
戳我-> 领取自动驾驶近15个方向学习路线
本文只做学术分享，如有侵权，联系删文
在本论文中，作者提出了一种轻量级的检测 Transformer ，LW-DETR，它在实时目标检测方面优于YOLO系列。该架构是一个简单堆叠的ViT编码器、投影器和浅层DETR解码器。
作者的方法利用了近期先进的技术，例如有效的训练技术，例如改进的损失和预训练，以及交替窗口和全局注意力以降低ViT编码器的复杂性。
作者通过聚合多级特征图改进了ViT编码器，以及在ViT编码器中的中间和最终特征图，形成更丰富的特征图，并引入窗口主导的特征图组织以提高交替注意力计算的效率。
实验结果表明，在COCO和其他基准数据集上，所提出的方法优于现有的实时检测器，例如YOLO及其变体。代码和模型可在https://github.com/Atten4Vis/LW-DETR获取。
1 Introduction
实时目标检测是视觉识别中的一个重要问题，并在现实世界中有着广泛的应用。当前的解决方案主要基于卷积网络，例如YOLO系列。近年来， Transformer 方法，如检测 Transformer （DETR）[4]，已取得显著进展。不幸的是，针对实时检测的DETR尚未得到充分探索，其性能是否与最先进的卷积方法相当尚不清楚。
在本文中，作者构建了一种轻量级的DETR方法用于实时目标检测。
该架构非常简单：一个普通的ViT编码器[17]和一个通过卷积投影仪[29]连接的DETR解码器。
作者 Proposal 聚合多级特征图，编码器中的中间和最终特征图，形成更强的编码特征图。作者的方法利用了有效的训练技术。例如，作者使用可变形交叉注意力来形成解码器[74]，IoU感知的分类损失[3]，以及编码器-解码器预训练策略。
另一方面，作者的方法利用了推理高效的技巧。例如，作者采用交错窗口和全局注意力[36, 37]，用窗口注意力替换普通ViT编码器中的一些全局注意力以降低复杂性。作者通过窗口主导的特征图组织方法有效地实现了交错注意力的高效实现，有效地减少了昂贵的内存排列操作。
图1显示，作者提出的简单 Baseline 出人意料地超过了之前在COCO[39]上的实时检测器，例如YOLO-NAS[1]，YOLOv8[29]，和RTMDet[46]。
这些模型通过在Objects365[54]上的预训练得到改进，端到端的时间成本（包括NMS时间）使用官方实现设置6进行测量。YOLOv8: https://acc.tituristic.com
RTMDet: http://github.com/open-gmail/mmplo/tree/main/config/rtmdet 作者对现有的实时检测算法[1, 12, 29, 46, 58]进行了广泛的实验比较。作者进一步优化了NMS设置，并为现有算法获得了改进的性能。提出的 Baseline 仍然超过了这些算法（在图1中标记为“*”）。此外，作者展示了在更多检测基准上的实验结果。
提出的 Baseline 仅探索了简单且易于实现的技术，并显示出有希望的性能。作者相信作者的方法可能从其他设计中受益，例如高效的多尺度特征融合[34]，标记消减[36, 72]，蒸馏[5, 5, 9, 64]，以及其他训练技术，例如YOLO-NAS[1]中使用的技术。作者还表明，提出的方法适用于具有卷积编码器的DETR方法，如ResNet-18和ResNet-50[23]，并取得了良好的性能。
2 Related Work
实时目标检测。 实时目标检测在现实世界中具有广泛的应用。现有的最先进的实时检测器，如YOLO-NAS[1]，YOLOv8[29]和RTMDet[46]，与第一个版本的YOLO[50]相比，通过检测框架[20, 56]，架构设计[2, 16, 32, 33, 59, 65]，数据增强[2, 20, 69]，训练技术[1, 20, 29]和损失函数，已大大改进。这些检测器基于卷积。在本文中，作者研究基于Transformer的实时检测解决方案，这方面的研究还很少。
用于目标检测的ViT。 视觉Transformer (ViT) [17, 66] 在图像分类中显示出有希望的性能。将ViT应用于目标检测通常利用窗口注意力[17, 43]或分层架构[21, 43, 62, 70]来减少内存和计算成本。UViT[8]使用渐进式窗口注意力。ViTDet[36]通过交错窗口和全局注意力[37]实现预训练的普通ViT。作者的方法遵循ViTDet使用交错窗口和全局注意力，并额外使用以窗口为主要顺序的特征图组织以减少内存重排成本。
DETR及其变体。 检测Transformer (DETR) 是一种端到端检测方法，消除了许多手工制作组件的必要性，例如 Anchor 点生成[51]和非极大值抑制（NMS）[24]。有许多后续方法用于改进DETR，如架构设计[19, 47, 67, 74]，目标 Query 设计，训练技术和损失函数改进[3, 42]。此外，还通过架构设计[34, 40]，计算优化[74]，剪枝[53, 72]和蒸馏进行了各种工作以降低计算复杂性。本文的兴趣在于构建一个简单的DETR Baseline ，用于实时检测，这些方法尚未探索。
与作者的工作同时，RT-DETR[45]也应用了DETR框架构建实时检测器，重点关注形成编码器的CNN Backbone 网络。有关相对较大的模型的研究较多，而小型模型的研究不足。
作者的LW-DETR探讨了普通ViT Backbone 网络和DETR框架用于实时检测的可行性。
3 LW-DETR
Architecture
LW-DETR由一个ViT编码器、一个投影仪和一个DETR解码器组成。
编码器。 作者采用ViT作为检测编码器。一个简单的ViT [17]包括一个切块层和 Transformer 编码层。初始ViT中的 Transformer 编码层包含对所有标记的全局自注意力层和一个FFN层。全局自注意力在计算上成本较高，其时间复杂度与标记（切块）的数量成二次关系。作者用窗口自注意力实现一些 Transformer 编码层，以降低计算复杂度（详细内容见第3.4节）。作者提出将多级特征图进行聚合，即编码器中的中间和最终特征图，形成更强的编码特征图。图2展示了一个编码器的例子。
解码器。 解码器是由 Transformer 解码层堆叠而成的。每一层包括一个自注意力、一个交叉注意力和一个FFN。作者采用可变形交叉注意力[74]以提高计算效率。DETR及其变体通常采用6个解码层。在作者的实现中，作者使用3个 Transformer 解码层。这使得时间从1.4毫秒减少到0.7毫秒，与作者的方法中小版本其余部分的1.3毫秒的时间成本相比，这是一个显著的减少。
作者采用混合 Query 选择方案[67]来形成目标 Query ，即内容 Query 和空间 Query 的总和。内容 Query 是可学习的嵌入，与DETR相似。空间 Query 基于两阶段方案：从投影仪的最后一层选择top-特征，预测边界框，并将相应的框转换为嵌入作为空间 Query 。
投影仪。 作者使用一个投影仪来连接编码器和解码器。投影仪接收来自编码器的聚合编码特征图作为输入。投影仪是一个C2f块（跨阶段部分DenseNet[26, 60]的扩展），在YOLOv8[29]中实现。
在构建LW-DETR的大型和超大型版本时，作者修改了投影仪以输出两个尺度的特征图（和），并相应地使用多尺度解码器[74]。投影仪包含两个并行的C2f块。一个处理通过反卷积上采样的特征图，另一个处理通过步幅卷积下采样的特征图。图3展示了单尺度投影仪和多尺度投影仪的流程。
目标函数。 作者采用了 一种IoU感知的分类损失，即IA-BCE损失[3]，
其中和分别是正样本和负样本的数量。是预测的分类得分。是吸收了IoU得分（与 GT 值相关）的目标得分：，且经验性地设置为0.25[3]。
总体损失是分类损失和边界框损失的组合，与DETR框架[4, 67, 74]中的相同，具体表述如下：
其中和设置为与[4, 74, 74]相似的2.0和5.0。和分别是广义IoU(GIoU)损失[52]和边界框回归的L1损失。### 实例化
作者实例化了5个实时检测器：微小、小型、中型、大型和特大型。具体的设置在表1中给出。
微小检测器由具有6层的 Transformer 编码器组成。每一层包括一个多头自注意力模块和一个前馈网络(FFN)。每个图像块被线性映射到一个192维表示向量。投影仪输出具有256个通道的单尺度特征图。解码器有100个目标 Query 。
小型检测器包含10个编码器层，以及300个目标 Query 。与微小检测器相同，输入块表示的维度和投影仪输出的维度分别为192和256。中型检测器与小型类似，区别在于输入块表示的维度为384，相应地编码器的维度也为384。
大型检测器由一个10层编码器组成，并使用两种尺度的特征图（参见第3.1节中的Projector部分）。输入块表示和投影器输出的维度分别为384和384。xlarge检测器与大型检测器相似，区别在于输入块表示的维度为768。
Effective Training
更多监督。 已经开发了各种技术来引入更多监督以加速DETR训练，例如[6, 27, 75]。作者采用了Group DETR [6]，这种方法易于实现，并且不会改变推理过程。遵循[6]，作者在训练中使用13个并行权重共享解码器。对于每个解码器，作者从投影器的输出特征中为每个组生成目标 Query 。遵循[6]，作者在推理时使用主解码器。
在Objects365上的预训练。 预训练过程包括两个阶段。首先，作者使用基于预训练模型的MIM方法CAEv2 [71]在数据集Objects365上预训练ViT。这使作者在COCO上的mAP提高了0.7。
其次，作者遵循[7, 67]重新训练编码器，并以监督方式在Objects365上训练投影器和解码器。
Efficient Inference
作者对某些全局自注意力层进行了简单的修改[36, 37]，并采用了交错窗口和全局注意力：用窗口自注意力层替换一些全局自注意力层。例如，在一个6层的ViT中，第一层、第三层和第五层使用窗口注意力。窗口注意力通过将特征图划分为非重叠窗口并在每个窗口上分别执行自注意力来实现。
作者采用了一种窗口主导的特征图组织方案，以实现高效的交错注意力，该方案按窗口组织特征图。ViTDet实现[36]中，特征图是逐行组织的（行主组织），在将特征图从行主组织转换为窗口主组织以进行窗口注意时，需要昂贵的排列操作。作者的实现去除了这些操作，从而降低了模型延迟。
作者用一个玩具示例来说明窗口主导的方式。给定一个 的特征图
对于窗口大小 的窗口主导组织如下：
这种组织方式适用于窗口注意力和全局注意力，而无需重新排列特征。行主导组织，
对于全局注意力是合适的，但在执行窗口注意力时需要经过昂贵的排列操作处理。
Empirical Study
作者实证展示了如何通过有效的训练和高效的推理技术来提升DETR。作者以小型检测器为例进行研究。这项研究基于一个初始检测器：编码器在所有层中使用全局注意力，并输出最后一层的特征图。结果展示在表2中。
延迟改进。 ViTDet采用的交错窗口和全局注意力将计算复杂度从23.0 GFlops降低到16.6 GFlops，验证了用较便宜的窗口注意力替换昂贵的全局注意力的好处。延迟并没有减少，甚至增加了0.2毫秒。这是因为行主特征图组织需要额外的成本较高的排列操作。窗口主特征图组织减轻了副作用，并导致了更大的延迟降低，从3.7毫秒减少到2.9毫秒，降低了0.8毫秒。
性能改进。 多级特征聚合带来了0.7 mAP的提升。Iou感知分类损失和更多的监督将mAP分数从34.7提升到35.4和38.4。边界框重参化用于 Box 回归目标[40]（具体细节在补充材料中）实现了轻微的性能提升。显著的改进来自于在Objects365上的预训练，达到了8.7 mAP，这表明 Transformer 确实从大量数据中受益。更长的训练计划可以带来进一步的改进，形成了作者的LW-DETR-small模型。
4 Experiments
Settings
数据集。 预训练的数据集是Objects365 [54]。作者遵循的方法，将训练集的图像和验证集中的图像（除去前5000张用于检测预训练的图像）进行合并。作者使用标准的COCO2017 [39] 数据分割策略，并在COCO val2017上进行评估。
数据增强。 作者采用了DETR及其变体 [74, 4] 中的数据增强方法。作者遵循实时检测算法 [1, 29, 46] 并随机将图像调整为正方形进行训练。为了评估性能和推理时间，作者按照实时检测算法 [1, 29, 46] 的评估方案将图像调整为 。作者使用 的窗口大小，以确保图像大小可以被窗口大小整除。
实现细节。 作者在Objects365 [54] 上对检测模型进行30个周期的预训练，并在COCO [39] 上对模型进行总共180K次训练迭代的微调。作者采用指数移动平均（EMA）技术 [55] ，衰减率为0.9997。作者使用AdamW优化器 [44] 进行训练。
对于预训练，作者将投影器和DETR解码器的初始学习率设置为 ，ViT Backbone 网络的初始学习率为 ，批量大小为128。对于微调，作者将投影器和DETR解码器的初始学习率设置为 ，ViT Backbone 网络的初始学习率设置为 。作者在tiny、small和medium模型中将批量大小设置为32，在large和xlarge模型中将批量大小设置为16。
180K次训练迭代对于tiny、small和medium模型来说是50个周期，对于large和xlarge模型来说是25个周期。更多细节，如在ViT编码器中的逐层衰减、微调过程中的组件衰减 [7] 等，在补充材料中给出。
作者在T4 GPU上以fp16精度和批量大小为1的方式，对COCO val2017上的端到端平均推理延迟进行了测量，其中环境设置为TensorRT-8.6.1、CUDA-11.6和CuDNN-8.7.0。采用了TensorRT中的efficientNMSPlugin实现高效的NMS。对于所有实时检测器，性能和端到端延迟都是使用官方实现进行测量的。
Results
作者在表3中报告了五个LW-DETR模型的结果。LW-DETR-tiny在T4 GPU上以500 FPS的速度达到42.6 mAP。LW-DETR-small和LW-DETR-medium分别以超过340 FPS和超过178 FPS的速度获得48.0 mAP和52.5 mAP。大型和超大型模型分别以113 FPS和52 FPS的速度达到56.1 mAP和58.3 mAP。
与最先进的实时检测器比较。在表3中，作者报告了LW-DETR模型与代表性的实时检测器（包括YOLO-NAS [1]，YOLOv8 [29]，和RTMDet [46]）的比较。可以看出，无论是否使用预训练，LW-DETR都一致地优于先前的SoTA实时检测器。从tiny到xlarge五种规模上，作者的LW-DETR在延迟和检测性能方面明显优于YOLOv8和RTMDet。
与之前最佳方法之一的YOLO-NAS进行比较，后者是通过神经架构搜索获得的，作者的LW-DETR模型在小型和中级规模上分别以0.4 mAP和0.9 mAP超越它，并且运行速度分别快1.6倍和约1.4倍。当模型变得更大时，改进变得更加显著：在大型规模上，以相同的速度运行时，mAP提高了3.8。
作者通过在NMS过程中很好地调整分类得分阈值，进一步改进了其他方法，并在最右边的两列报告了结果。结果有了很大改善，但仍然低于作者的LW-DETR。作者预计，作者的方法可能从先前的实时检测器所采用的神经架构搜索（NAS）、数据增强、伪标记数据和知识蒸馏等其他改进中受益。
与同期工作的比较。作者将LW-DETR与实时检测领域的同期工作进行了比较，包括YOLO-MS [12]，Gold-YOLO [58]，RT-DETR [45]，和YOLOv10 [57]。YOLO-MS通过增强多尺度特征表示来提高性能。Gold-YOLO通过提升多尺度特征融合并应用MAE风格的预训练[22]来提高YOLO性能。YOLOv10设计了几种效率与准确度驱动的模块来提高性能。与LW-DETR紧密相关的RT-DETR [45]也建立在DETR框架之上，但在 Backbone 网、投影仪、解码器和训练方案方面与作者的方法有许多不同。
表4和图4给出了比较。作者的LW-DETR在检测性能和延迟之间始终实现了更好的平衡。YOLO-MS和Gold-YOLO在所有模型规模上明显比作者的LW-DETR表现更差。LW-DETR大型模型在与其紧密相关的RT-DETR-R50相比，mAP超出0.8，并且速度更快（8.8毫秒对9.9毫秒）。其他规模的LW-DETR也比RT-DETR表现出更好的结果。与最新工作YOLOv10-X [57]相比，作者的LW-DETR大型模型在更低的延迟（8.8毫秒对10.70毫秒）下实现了更高的性能（56.1 mAP对54.4 mAP）。
Discussions
NMS后处理。 DETR方法是一种端到端的算法，不需要NMS后处理程序。相比之下，现有的实时检测器，如YOLO-NAS [1]，YOLOv8 [29]和RTMDet [46]，需要NMS [24]后处理。NMS程序需要额外的时间。作者在衡量端到端推理成本时包括了这部分额外时间，这在实际应用中是计算在内的。在官方实现中使用NMS设置的实验结果展示在图1和表3中。
作者进一步通过调整NMS后处理的分类分数阈值来改进带NMS的方法。作者观察到，YOLO-NAS、YOLOv8和RTMDet中默认的分数阈值0.001会导致高mAP，但也会产生大量的框，从而增加延迟。特别是当模型较小时，端到端延迟主要受NMS延迟的影响。作者调整了阈值，以在mAP分数和延迟之间取得良好的平衡。观察到mAP分数略有下降，例如，下降 mAP至 mAP，而运行时间大大减少，例如，RTMDet和YOLOv8减少了45毫秒，YOLO-NAS减少了12毫秒。这些减少是因为调整分数阈值后，输入到NMS的预测框减少了。不同分数阈值的详细结果以及COCO val2017上剩余框数量的分布将在补充材料中给出。图1展示了与其他经过良好调整的NMS过程的方法的比较。带NMS的方法得到了改进。作者的方法仍然优于其他方法。排名第二的方法YOLO-NAS是一个网络架构搜索算法，与所提出的 Baseline 非常接近。作者认为，像YOLO-NAS中使用的复杂网络架构搜索过程可能对DETR方法有利，预计会有进一步的改进。
预训练。 作者实证研究了预训练的效果。表5的结果表明，预训练对作者的方法带来了显著的改进，平均提高了5.5 mAP。小模型获得了6.1的mAP增益，而大模型获得了5.3的mAP增益。这意味着在大数据集上进行预训练对基于DETR的模型非常有益。作者进一步展示了训练过程适用于带有卷积编码器的DETR方法。作者将Transformer编码器替换为ResNet-18和ResNet-50。从表5中可以看出，这些LW-DETR变体的结果在延迟和mAP方面与带有Transformer编码器的LW-DETR接近，而预训练带来的好处与带有Transformer编码器的LW-DETR相似，稍微低一点。
同时，作者研究了非端到端检测器上的预训练改进。根据表3、表4和表6的结果，似乎在Objects365上的预训练仅对非端到端检测器[12, 29, 46, 58]显示出有限的增益，这与在基于DETR的检测器中预训练带来大幅改进的现象不同。由于非端到端检测器训练了300个甚至YOLOv8的500个周期，作者想知道有限的增益是否与训练周期有关。作者比较了预训练权重随训练周期带来的改进。表6显示，随着训练周期的增加，改进逐渐减少，这在一定程度上支持了上述假设。上述说明是一个初步步骤。作者相信需要进一步调查以找出预训练带来不同益处的原因。
Experiments on more datasets
作者在更多检测数据集上测试了LW-DETR的泛化能力。作者考虑了两种评估方法：跨领域评估和多领域微调。对于跨领域评估，作者直接在Unidentified Video Objects (UVO) [61]上评估在COCO上训练的实时检测器。对于多领域微调，作者在多领域检测数据集Roboflow 100 (RF100) [13]上对预训练的实时检测器进行微调。作者对所有模型在每个数据集上的超参数（如学习率）进行了粗略搜索。更多详情请参阅补充材料。
跨领域评估。评估模型泛化能力的一种可能方法是直接在具有不同领域的数据集上进行评估。作者采用了类不可知的目标检测基准UVO [61]，其中57%的目标实例不属于80个COCO类别中的任何一个。UVO基于YouTube视频，其外观与COCO截然不同，例如，有些视频是第一人称视角，并且具有明显的运动模糊。作者在UVO验证分割上评估了在COCO上训练的模型（来自表3）。
表7提供了结果。LW-DETR优于所有竞争的SoTA实时检测器。具体来说，LW-DETR-small在mAP上比RTMDet-s、YOLOv8-s和YOLO-NAS-s中的最佳结果高出1.3 mAP，在AR上高出4.1。在召回率方面，它也显示出增强在不同尺度（小、中、大）检测更多目标的能力。上述发现意味着作者的LW-DETR优于先前的实时检测器，并不是因为对COCO的具体调优，而是因为它能产生更具有泛化能力的模型。
多领域微调。另一种方法是在不同领域的较小数据集上对预训练检测器进行微调。RF100由100个小型数据集组成，7个图像领域，224k张图片和829个类别标签。它可以帮助研究行人用现实生活数据测试模型的泛化能力。作者在RF100的每个小型数据集上对实时检测器进行微调。
表8给出了结果。LW-DETR-small在各个领域都优于当前的SoTA实时检测器。特别是对于“文档”和“电磁”领域，作者的LW-DETR明显优于YOLOv5、YOLOv7、RTMDet和YOLOv8（比这四个中的最佳结果高出5.7 AP和5.6 AP）。LW-DETR-medium在总体上可以给出进一步的改进。这些发现强调了作者的LW-DETR的多样性，使其成为一系列封闭领域任务中的一个强 Baseline 。局限性和未来工作
目前，作者仅证明了LW-DETR在实时检测中的有效性。这是第一步。将LW-DETR扩展到开放世界检测，并将LW-DETR应用于更多视觉任务（如多人姿态估计和多视图3D目标检测）需要进一步研究。作者将这些问题留作未来的工作。
6 Conclusion
这篇论文展示了检测 Transformer 在现有实时检测器上取得了具有竞争力的甚至更优的结果。
作者的方法简单且高效。成功源于多级特征聚合以及训练有效和推理高效的技巧。
作者希望作者的经验能为在视觉任务中构建具有 Transformer 的实时模型提供启示。
参考
[1].LW-DETR: A Transformer Replacement to YOLO for Real-Time Detection.
投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！
① 全网独家视频课程
BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）
② 国内首个自动驾驶学习社区
国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频
③【自动驾驶之心】技术交流群
自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）
④【自动驾驶之心】全平台矩阵
155
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
