calvinpaean的博客

此外，在“一对一”的匹配时，作者采用了 top-1 选项，取得的表现和匈牙利匹配一样，额外的训练时间要更少。为了在训练中省去 NMS，作者提出了双标签分配策略和一致的匹配度量，这样模型能在训练时获得丰富且均衡的监督信号，推理时无需 NMS，从而改善了表现、降低了推理延迟。由于训练的随机性，作者用相同的值来初始化这俩 heads，产生相同的预测结果，也就是说，对于每对预测-ground-truth，“一对一” head 和“一对多” head 输出相同的。但是，它们的计算成本是明显不同的。

换句话说，MNv4模型能够使用昂贵的层，这些层虽然会不成比例地提高准确性，但不会同时承受这些层的联合成本，从而在所有ridge points（可能指特定的性能评估点或模型参数设置点）上主要实现了帕累托最优性能。受到 MQA 启发，它对 queries, keys, values 使用了非对称的计算，作者在优化的 MQA 中加入了空间降维注意力（spatial reduction attention），缩小 keys 和 values 的分辨率，但保持高分辨率的 queries。硬件处理器和内存的理论上限。

工业界追求高性能、低延迟的目标检测算法，研究人员于是聚焦于单阶段目标检测，探索高效的网络结构和训练策略。YOLOv5/v6/v7、YOLOX 和 PP-YOLOE 在 COCO 数据集上实现了不错的精度-速度平衡，得到广泛应用，但它们仍有提升空间。

对 YOLOX 做加速，在单张 Tesla V100 上取得了42.8mAP，推理速度为 1 毫秒。

单阶段目标检测器能很好地平衡速度和精度，YOLO 系列是其中的代表。YOLOX 采用了 anchor-free 范式，加入了动态标签分配以提升检测表现，在 Tesla V100 上取得了 50.1 mAP，速度是 68.9 FPS。本文提出的 PP-YOLOE 为了适配各种硬件平台，没有使用可变形卷积、Matrix NMS 等操作。如下图，PP-YOLOE 在速度和精度方面领先于 YOLOX 和 YOLOv5。

实时的目标检测器是计算机视觉系统的重要组成部分。目前应用在 CPU 端的实时目标检测方法大多基于 MobileNet、ShuffleNet、GhostNet，而用在 GPU 的实时目标检测方法大多基于 ResNet、DarkNet、DLA，然后使用 CSPNet 策略来优化网络架构。本文方法主要侧重于优化训练的过程，而非模型架构。这些优化方法会增加一定的训练成本，提升检测的表现，但不会增加推理成本。本文没有尝试自监督学习或知识蒸馏方法，它们需要更多的训练数据或更大的模型。开始在目标检测领域流行起来。

吸收了学术圈和工业界最新的目标检测方法，包括网络结构、训练策略、测试技巧、量化和优化方法。

目前的目标检测器很少能做到快速训练、快速推理，并同时保持准确率。直觉上，推理越快的检测器应该训练也很快，但大多数的实时检测器反而需要更长的训练时间。准确率高的检测器大致可分为两类：推理时间久的的训练时间久的。推理时间久的检测器一般依赖于复杂的后处理逻辑或沉重的检测 head。尽管这些设计能提升准确率和收敛速度，但是推理速度很慢，不适合实时应用。为了降低推理速度，人们尝试去简化检测 head 与后处理，同时能维持准确率。

目标检测通过多任务学习的方式，协同优化目标的分类和定位。分类任务会学习目标的判别特征，关注于目标的显著性或关键区域，而定位任务则学习准确地定位目标的边界。因为定位和分类的学习机制不同，这俩任务学到的特征分布也不同。当这两个分支做预测时，会产生一定的错位现象。如下图，上面一行是 ATSS 预测的分类得分和定位得分的空间分布，下面一行是 TOOD 预测的分类得分和定位得分的空间分布。

密集目标检测器会预测出大量的候选检测框，如何准确地对它们进行排序是取得优异性能的关键。以前的方法通常会在 NMS 时根据类别得分对预测框做排序，但这可能损害模型表现，因为类别得分并不能体现边框定位的准确性，定位准确的边框可能会因为类别得分较低而被 NMS 错误地去除。现有的一些方法会预测一个额外的 IoU 得分或 center-ness 得分，表示定位质量。然后在 NMS 排序时将它们乘上分类得分。

预测定位质量对于目标检测很重要，在 NMS 时它能提供准确的得分排序，提高模型的表现。现有方法都是通过分类或回归的卷积特征来预测定位质量得分。

单阶段目标检测器通过密集预测的方式进行分类、定位。分类一般使用 Focal Loss，而边框回归则通过 Dirac delta 分布来学习。近年来的改进方向是引入一个单独的分支，预测定位的质量，然后用该质量分数去辅助分类得分，提升检测的表现。下图(a) 是一些背景区域，但它们的定位质量得分很高。图(b) 的蓝点说明预测的类别得分和质量得分之间的关系较弱，红圈包含了大量的负样本，但它们的预测定位质量得分都很高。

之前的目标检测器如 RetinaNet、SSD、YOLOv3 都依赖于 anchors。正负样本不均衡；

Anchor-based 和 anchor-free 方法的本质差异其实是如何定义正负样本，如果训练过程中它们采用相同的正负样本定义，最终的表现是差不多的。也就是说，如何选取正负样本才是最重要的。作者从上面三个方面出发，分析为什么 FCOS 的表现优于 RetinaNet。此外，通过一系列实验表明，发现在一个位置放置多个 anchors 来检测物体并不是必要的。

目标检测是计算机视觉中一个重要任务。在边缘设备上，大模型很难取得实时的效果。而使用大量深度可分离卷积的模型则很难取得高准确率。如下图，深度可分离卷积的缺点就是：输入图像的通道信息在计算时被分隔开了。这使得深度可分离卷积（DSC）的特征提取能力和融合能力要比标准卷积（SC）差不少。MobileNets 使用大量的1×1卷积，融合单独计算出的通道信息。ShuffleNets 使用 channel shuffle 让通道信息相互交流。GhostNet 则使用一半的标准卷积操作，保持通道间的信息交流。

目标检测取得了显著成绩，但是检测不同尺度的目标仍然是一个挑战。金字塔或多层级特征是解决目标检测中尺度变化的常用手段。但对于单阶段目标检测器而言，各特征尺度之间不一致性制约了算法的表现。与图像金字塔相比，特征金字塔在各尺度间是不一致的，要用到启发式的特征选取策略：大目标通常与高层级特征图有关，而小目标则和低层级特征图有关系。当某层级的特征图上的目标被分配为正样本，其它层级特征图的相应区域就会被看作为背景。这种不一致性会对梯度计算造成影响，使特征金字塔的效力降低。

1. 解决了什么问题？目标检测中最难的一个挑战就是小目标检测，因为小目标所提供的判别特征很有限。对于小目标检测，无论是 anchor-based 还是 anchor-free 检测器，它们使用的度量都不是最优的。现有的标签分配度量依赖于重叠度，当一个 gt 没有和任何先验框重叠时，就无法通过 IoU 或 centerness 来解决位置关系。而对于小目标而言，经常发现没有先验框和 gt 框重叠的现象，造成小目标缺乏足够多的正样本。现有方法的先验框主要服从均匀分布，框内的所有点（v=constantv

Abstract最近，人们开始关注航拍图像中的目标检测任务。与自然图像中的物体不同，航拍目标的朝向通常很随意。因此，检测器需要更多的参数来编码朝向信息，非常冗余且低效率。此外，因为常见的CNN无法显式地建模朝向变化，我们就需要增广大量的旋转数据来训练一个准确的目标检测器。本文作者提出了一个 Rotation-equivariant 检测器（ReDet），可以解决这些问题，显式地编码旋转同变性和旋转不变性。更具体点，作者在检测器中融入了 rotation-equivariant 网络，提取 rotation

AbstractCNN 在各视觉任务上取得显著成功，但计算开支巨大。为了解决这个问题，现有方法要么对训练好的模型做压缩，要么设计一个轻量级的网络结构训练。本文作者仔细研究了卷积算子，降低计算开支。提出了一个简洁的卷积模块，叫做 CompConv，有助于高效的特征学习。基于分治的思想，CompConv 能省去大量的计算开支和参数，来产生一定维度的特征图。此外，为了有效地继承输入信息，CompConv 往输出中加入输入特征是非常审慎的。CompConv 是即插即用的，能直接应用到现有的 CNN 结构中，替代标

Abstract目标检测的本质就是将定位和分类结合起来。以前的方法无法从统一的角度来提升目标检测heads的性能。本文中，作者提出了一个创新的动态 head 框架，将目标检测heads和注意力结合起来。该方法在各特征层级之间将多个自注意力机制结合起来以获得尺度信息，在各空间位置之间以获得空间信息，在各输出通道之间以获得任务信息，极大地提升了目标检测heads的特征表示能力，而没有增加计算成本。在 COCO 基准上的实验证明了该动态head的表现。以 ResNeXt-101-DCN 为主干网络，取得了 54

Abstract密集目标检测器要想实现高准确率，准确地对大量的候选检测框做排序是非常重要的。之前的工作使用分类得分或将分类与预测定位的得分组合起来，对候选框做排序。但是，这些方法都很难得到一个可靠的排序，使检测表现退化。本文中，作者提出学习一个 IOU-aware 分类得分（IACS），结合起来表示目标出现的概率和定位的准确率。作者证明有了IACS，密集目标检测器可以实现更加准确的候选检测框的排序。作者设计了一个新的损失函数，叫做 Varifocal Loss，训练一个密集目标检测器来预测 IACS，提出

AbstractILSVRC（ImageNet大规模视觉识别挑战赛）是计算机视觉领域最权威的学术竞赛之一。直接将 ILSVRC 每年的冠军方案应用在细粒度视觉分类（FGVC）任务上无法取得很好的表现。对于 FGVC 任务而言，类间差异小而类内差异大的特点使这个问题变得很有挑战性。本文的注意力目标定位模块（AOLM）可以预测目标的位置，注意力局部提议模块（APPM）可以发现信息丰富的局部区域，无需边框或部分标注信息的帮助。得到的目标图像不仅包含目标的全部结构，也包含更多的细节信息，局部图像有多个不同的尺度和

AbstractDETR 提出在目标检测方法中去除人为组件，也可保持优异性能。但由于 Transformer 注意力模块只能有限地处理图像特征图，它的收敛速度就比较慢，特征空间分辨率有限。为了缓解这些问题，作者提出了 Deformable DETR，其注意力模块只会关注目标框周围少量的关键采样点。Deformable DETR 能够取得比 DETR 更优异的性能（尤其在小物体上），训练 epochs 要少10×10\times10×倍。在 COCO 基准上大量的实验证明了该方法的有效性。代码位于： htt

Abstract本文提出了一个新的方法，将目标检测看作一个直接的集合预测问题。该方法让检测变得更简洁，去除了人为设计的后处理步骤如 NMS 或 anchor 生成，显式地编码了关于任务的先验知识。该框架的主要结构叫做 DEtection TRansformer 或 DETR，基于集合的全局损失，通过二分匹配和一个 transformer 编码器-解码器架构来做到唯一的预测。给定一个固定小集合的目标，DETR 会推理出这些目标与全局图像环境的关系，并行地直接输出最终的预测集合。和其它检测器相比，该模型在概念

Abstract目前大多数的多目标跟踪系统都是通过检测再跟踪的方式实现，一个目标检测器后面跟着一个检测结果关联的方法。将运动和外观特征结合起来实现跟踪已经有了很长的历史，对遮挡严重问题也具有一定的鲁棒性，但是通常所需的算力要更高，实现起来要更慢。最近在 2D 目标追踪基准上所取得的成功表明，通过一个 SOTA 检测器和相对简单、仅依赖单帧空间位置的关联方法，我们可以取得很高的分数，显著地超过那些通过外观特征学习来帮助重新识别已丢失目标的方法。本文中，作者提出了一个高效率的协同检测和追踪的方法，叫做 DEF

Abstract

Abstract注意力机制，尤其是通道注意力，在计算机视觉领域取得了巨大成功。许多工作都关注在如何设计高效率的通道注意力机制，而忽略了一个基本问题，就是将全局平均池化（GAP）作为预处理的方法。本文从一个不同的角度出发，通过频域分析重新思考了通道注意力。基于频域分析，作者数学上证明了传统的 GAP 是在频域上的特征分解的特例。基于该证明，作者归纳了频域内通道注意力机制的预处理，提出了多频谱通道注意力的 FcaNet。该方法简单但高效。对于现有的通道注意力方法，我们只需改变其中一行代码就可实现。而且，该方法

Abstract目标检测技术的突飞猛进与广泛应用使人们开始去关注目标检测器的准确率和速度。但是，目前 SOTA 的目标检测方法要么是通过一个大型网络来实现高准确率，要么用一个轻量级模型来追求速度，但牺牲了精度。本文中，作者提出了一个 YOLObile 框架，通过压缩-编译协同设计在移动设备上的实时的目标检测方法。提出了一个新的、针对任意核大小的 block-punched 裁剪机制。为了提高它在移动设备上的计算效率，作者采用了一个 GPU-CPU 协同机制和先进的编译器辅助优化方案。实验结果表明该裁剪机制

Abstract主流的基于全卷积网络的目标检测器取得了优异的表现。但是它们中的大多数都需要一个人为设计的 NMS 后处理步骤，这就阻碍了端到端的训练。本文中作者认为要想抛弃 NMS，合理的标签分配策略很关键。于是作者提出了一个用于分类的预测一对一（POTO）的标签分配策略，实现端到端的检测，可实现与 NMS 相当的表现。此外作者也提出了一个 3D Max 滤波（3D Max Filtering），利用多尺度特征，提升局部区域中卷积的可判别性。有了这些方法，我们就可实现端到端的框架，在 COCO 和 Cro

Abstract本文提出一个简单的无需 NMS、端到端的目标检测方法，该网络只需对单阶段目标检测器如 FCOS 做极小的修改。与原来的单阶段检测器相比，本文方法的检测准确率与之相同，甚至要更好。它的推理速度差不多一样，但是结构要更简单，因为它去除了后处理 NMS。如果对于图像中的每个ground-truth目标实例，网络能够用一个正样本精准地识别出，则NMS就是不需要的。添加一个紧凑的 PSS head，我们就可以做到自动地给每个实例选取一个正样本（如图1所示）。因为学习目标函数包含了一对多和一对一的标签

Abstract众所周知，数据增广是正则化深度网络简单而有效的办法。传统的数据增广方法如翻转、平移或旋转都是低级别、与数据无关且类别无关的操作，导致增广样本的多样性很有限。本文提出了一个新颖的语义数据增广算法，弥补传统方法的不足。该方法受深度网络的一些特性启发，深度网络善于学习线性特征，即深度特征空间内特定方向对应的、有意义的语义变换，比如改变目标的背景或视角。基于此发现，沿着特征空间内的这些方向平移训练样本，就可以有效地扩充数据集的多样性。为了实现这个想法，作者首先介绍了一个采样方法，它可以有效地给出语

AbstractCNN 使用池化操作来降低激活图的大小。该过程对于空间不变性的实现和后续卷积感受野的增大很关键。池化操作应该将激活图的信息损失降到最低。同时，计算量和内存消耗应该极其有限。为了满足这些要求，作者提出了 SoftPool：对指数加权激活值求和的快速高效的方法。与其它池化方法相比，SoftPool 会在下采样过程中，保留更多的信息，也就意味着更高的分类准确率。在 ImageNet1K 数据集上，作者将许多常用 CNN 网络的池化操作替换为 SoftPool，实现了准确率1−2%1-2\%1−2

Abstract针对目标检测边框选取和抑制问题，本文提出了一个可以替代NMS的新方法。该方法 Confluence 不依赖于边框的置信度得分来选取最佳边框，它也不需要 IOU 来去掉错误的候选框。它使用曼哈顿距离，在 cluster 内，选择距离其它所有边框最接近的边框，去掉高度融合的相邻边框。因此，Confluence 是一种新的边框选择与抑制方法，因为它的基础原理与NMS等方法本质上不一样。Confluence 在MS COCO 和 PASCAL VOC 2007 数据集上，通过 RetinaNet、

Abstract数据增广是提升数据多样性的有效办法，可大幅改进图像识别任务中模型的泛化性。最新的、基于增广方式的数据混合取得了巨大成功。CutMix 使用一个简单而有效的办法，从图像中随机裁剪图像块，然后拼贴到另一个图像上去，改进分类器性能。为了进一步提升 CutMix 的表现，人们使用图像的显著信息来指导其运作。作者系统地研究了显著信息的重要性，发现显著信息对于促进增广的表现并不是很必要的。而且，作者发现基于裁剪的数据混合方法可能有2个问题，标签错误分配和物体信息丢失问题，无法同时解决掉。作者提出了一个

Abstract作者证明基于 CSP 方法的 YOLOv4 目标检测网络可以进行放大和缩小，在保证准确率和训练速度的同时应用在大网络和小网络上。作者提出了一个网络缩放方法，不仅修改深度、宽度和分辨率，也可修改网络结构。YOLOv4-large 模型取得了 state of the art 的效果：在 MS COCO 数据集上 55.4%55.4\%55.4% 的 AP（73.3%73.3\%73.3% AP50），在 Tesla V100 上的速度是15 FPS。据我们所知，这是目前在 COCO 数据集上

CVPR2020中的文章ATSS揭露到anchor-based和anchor-free的目标检测算法之间的效果差异原因是由于正负样本的选择造成的。而在目标检测算法中正负样本的选择是由 ground truth bbox 与 anchor bbox 之间的匹配策略决定的。因此我们研究一下目前现有的匹配策略，并根据现状给出改进思路。Faster R-CNN、RetinaNet、SSD算法采用的分配策略是max IOU assigner，即：对于每个ground truth bbox，将高于正样本阈值并且是最

Abstract本文中，作者通过一种完全可微的标签分配策略，提出了一个anchor-free的目标检测器，叫做AutoAssign。通过产生正的和负的权重映射，动态调整每个位置的预测，它可以自动地判断正/负样本。作者提出了一个中心加权模块，调节具体类别的先验分布，以及一个置信度加权模块来调整每个实例的标签策略。整个标签分配的过程是可微的，无需额外修改就可迁移到其它数据集和任务上。在MS COCO数据集上的实验表明，该方法要比目前最佳的采样策略高∼1%\sim 1\%∼1%AP。而且，本文的最佳模型可以取得

Abstract很多的目标检测器通过 looking and thinking twice 的方式实现了惊人的表现。本文作者针对目标检测主干网络的设计，研究了该机制。在宏观层面，作者提出了递归特征金字塔，将来自FPN的额外的反馈连接加入到自下而上的主干层。在微观层面，作者提出了可切换的空洞卷积（SAC），它以不同的空洞率（rate）对特征进行卷积，并使用switch函数合并卷积后的结果。这样就得到了DetectoRS，极大地提升了目标检测性能。在COCO 测试验证集上，DetectoRS 取得了SOTA的

Abstract在嵌入式设备上设计卷积网络很困难，主要因为内存和计算资源有限。特征图冗余是这些CNN的一个重要特点，但是很少在网络结构设计上得到研究。本文提出了一个创新的 Ghost 模块，通过低成本的操作输出更多的特征图。基于一组内在的特征图，作者使用一系列低成本的线性变换就可以产生许多的 ghost 特征图，可以充分地揭示内在特征的信息。Ghost 模块可以作为一个即插即用的组建来对现有卷积网络做升级。Ghost bottlenecks 用于堆叠 Ghost 模块，然后我们就可以构建轻量级的 Ghos

Abstract尽管图像分类的表现最近不断提升，大多数应用如目标检测和语义分割仍然采用ResNet的变体作为主干网络，因为它很简单而且是模块化结构。本文提出了一个简单而模块化的 split-attention 模块，使我们可以在特征图分组里实现注意力。...