经典回顾 | 第一个Anchor-Free、NMS-Free 3D目标检测算法!

作者 | 小书童  编辑 | 集智书童

点击下方卡片,关注“自动驾驶之心”公众号

ADAS巨卷干货,即可获取

点击进入→自动驾驶之心【3D目标检测】技术交流群

后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述!

354fff3c159eab6ece0865ef277fcd34.png

在嵌入式系统上操作的高效点云3D目标检测对于包括自动驾驶在内的许多机器人应用来说都是重要的。大多数以前的工作都试图使用基于Anchor的检测方法来解决这个问题,这些方法有2个缺点:

  • 后处理相对复杂且计算昂贵

  • 调整Anchor参数很复杂

本文是第一个使用Anchor-free和NMS-Free的单阶段检测器AFDet解决这些缺点的算法。整个AFDet可以通过简化的后处理在CNN加速器或GPU上高效处理。

在没有附加功能的情况下,本文提出的AFDet在KITTI验证集和Waymo开放数据集验证集上与其他基于Anchor的方法相比也具有一定的竞争力。

1、简介

检测点云中的3D目标是自动驾驶最重要的感知任务之一。为了满足功率和效率的限制,大多数检测系统都在车辆嵌入式系统上运行。开发嵌入式系统友好的点云3D检测系统是实现自动驾驶的关键步骤。

由于点云的稀疏性,直接在原始点云上应用3D或2D卷积神经网络(CNN)是低效的。一方面,引入了许多点云编码器来将原始点云编码为3D或2D CNN可以有效处理的数据格式。另一方面,一些工作直接从原始点云中提取特征用于3D检测,这是PointNet的启发。但在检测部分,大多数采用了在图像目标检测任务中被证明有效的基于Anchor的检测方法。

基于Anchor的方法有2个主要缺点:

首先,非最大抑制(NMS)是基于Anchor的方法抑制重叠的高置信度检测边界框所必需的。但它可能会引入比较大的计算成本,尤其是对于嵌入式系统。根据作者的实验,即使在具有高效实现的现代高端桌面CPU上,处理一个KITTI点云帧也需要20毫秒以上,更不用说通常用于嵌入式系统的CPU了。

第二,基于Anchor的方法需要Anchor选择,这既复杂又耗时,因为调整的关键部分可能是手动试错过程。例如,每次向检测系统添加新的检测类别时,都需要选择诸如合适的Anchor数量、Anchor尺寸、Anchor角度和Anchor密度等超参数。

可以摆脱NMS,设计一个高效的嵌入式系统友好的Anchor-Free点云3D检测系统吗?最近,图像检测中的Anchor-Free方法取得了显著的性能。在这项工作中,作者提出了一种具有简单后处理的Anchor-Free和无NMS的单阶段端到端点云3D目标检测器(AFDet)。

在作者的实验中,使用PointPillars将整个点云编码为鸟瞰图(BEV)中的伪图像或类似图像的特征图。然而,AFDet可以与生成伪图像或类似图像的2D数据的任何点云编码器一起使用。编码后,应用具有上采样Neck的CNN输出特征图,该特征图连接到5个不同的头部,以预测BEV平面中的目标中心,并回归3D边界框的不同属性。最后,将5个头的输出组合在一起以生成检测结果。关键点热图预测头用于预测BEV平面中的目标中心。它将把每个物体编码成一个以heatmap为中心的小区域。在推断阶段,每一个heatmap值都将通过最大池化操作进行挑选。在此之后,不再将多个回归Anchor平铺到一个位置,因此不需要使用传统的NMS。这使得整个检测器可以在典型的CNN加速器或GPU上运行,为自动驾驶中的其他关键任务节省了CPU资源。

贡献总结如下:

  1. 首次提出了一种Anchor-Free和无NMS检测器,用于简化后处理的点云3D目标检测。

  2. AFDet是嵌入式系统友好的,可以以更少的工程工作量实现高处理速度。

  3. 在KITTI验证集上,AFDet可以实现与以前的单阶段检测器相比具有竞争力的精度。AFDet的一种变体在Waymo验证上超越了最先进的单阶段3D检测方法。

2、相关工作

2.1、LiDAR-based 3D Object Detection

由于长度和顺序不固定,点云呈稀疏且不规则的格式,需要在输入神经网络之前对其进行编码。一些工作利用网格网格对点云进行体素化。诸如密度、强度、高度等特征在不同的体素中被连接为不同的通道。体素化点云被投影到不同的视图,例如BEV、距离视图(RV)等,以通过2D卷积处理,或者被保持在3D坐标中,以通过稀疏3D卷积处理。

PointNet提出了一种使用原始点云作为输入进行3D检测和分割的有效解决方案。PointNet使用多层感知器和最大池化操作来解决点云的无序和非均匀性,并提供了令人满意的性能。基于原始点云输入的连续3D检测解决方案提供了有前景的性能,如PointNet++、Frustum PointNet、PointR CNN和STD。

VoxelNet结合了体素化和PointNet,提出了体素特征提取器(VFE),其中在每个体素内实现了PointNet风格的编码器。尽管稀疏3D卷积被用于在VFE之后在z轴上进一步提取和下采样信息,但在SECOND中使用了类似的思想。VFE显著提高了基于LiDAR的检测器的性能,然而,使用从数据中学习的编码器,检测流水线变得更慢。

PointPillars建议将点云编码为pillar而不是体素。结果,整个点云变成BEV伪图像,其通道等效于VFE的输出通道,而不是3个。

在基于Anchor的方法中,为边界框编码提供预定义的框。然而,使用密集Anchor会导致大量潜在目标对象,这使得NMS成为一个不可避免的问题。之前的一些工作提到了Anchor-free概念。PointRCNN提出了一种基于全场景点云分割的Anchor-free box的3D proposals生成子网络。VoteNet从投票的兴趣点而不是预定义的Anchor框构建3D边界框。但它们都不是无NMS的,这使得它们效率较低,对嵌入式系统也不友好。

此外,PIXOR是一个BEV检测器,而不是3D检测器。

2.2、Camera-based 3D Object Detection

基于摄像头的解决方案随着降低成本的意愿而蓬勃发展。随着越来越复杂的网络的设计,基于摄像头的解决方案正在迅速赶上基于激光雷达的解决方案。

MonoDIS利用了2D和3D检测损失的新颖解纠缠变换和3D边界框的新颖自监督置信分数。它在nuScenes 3D目标检测挑战中排名第一。

CenterNet从特征图上的边界框中心预测目标的位置和类别。虽然最初设计用于2D检测,但CenterNet也有可能使用单摄像头进行3D检测。

TTFNet提出了缩短训练时间和提高推理速度的技术。

RTM3D预测图像空间中3D边界框的9个透视关键点,并利用几何规则恢复3D边界框。

3、方法

91fea5f80d4f3a13a2c42222a517a150.png

在本节中将从3个方面详细介绍AFDet:点云编码器、主干和颈部以及Anchor-free检测器。框架如图1所示。

3.1、点云编码器

为了进一步挖掘Anchor-free检测器的效率潜力,本文使用PointPillars作为点云编码器,因为其速度快。

首先,将检测范围离散为鸟瞰图(BEV)平面(也是x-y平面)中的pillar。不同的点根据其x-y值指定给不同的pillar。在这一步骤中,每个点也将增加到D=9维。

其次,具有足够数量点的预定义P数量的pillar将应用于线性层和最大池化操作,以创建大小为的输出张量,其中F是PointNet中线性层的输出通道数。由于P是所选pillar的数量,因此它们在整个检测范围内与原始pillar不是一一对应的。因此,第三步是将选定的P pillar散射到它们在检测范围上的原始位置。

之后,可以得到伪图像,其中W和H分别表示宽度和高度。尽管使用PointPillars作为点云编码器,但Anchor-free检测器与生成伪图像或类似图像的2D数据的任何点云编码器兼容。

3.2、Anchor Free检测器

Anchor-free检测器由5个头组成。它们是keypoint heatmap head、 local offset head、z-axis location head、 3D object size head 和orientation head。图1显示了Anchor-free检测器的一些细节。

1、BEV中的目标定位

对于heatmap head和offset head,预测关键点heatmap 和local offset regression图,其中C是关键点类型的数量。关键点heatmap用于查找目标中心在BEV中的位置。offset regression图有助于heatmap在BEV中找到更精确的目标中心,也有助于恢复pillar化过程导致的离散化误差。

对于类别为的3D目标k,将其3D GT边界框参数化为,其中表示表示激光雷达坐标系中的中心位置,表示边界框的宽度、长度和高度吗, 是围绕垂直于地面的z轴的偏航旋转。表示x-y平面中的检测范围。

具体来说,在LiDAR坐标系中,和 沿x轴,沿y轴。在这项工作中,x-y平面中的pillar始终是正方形。因此,设表示pillar边长。根据CornerNet,对于每个目标中心,在BEV伪图像坐标中有关键点。是关键点热图中的等效值。BEV中的二维边界框可以表示为。

对于伪图像中二维边界框中覆盖的每个像素,在下面的heatmap中设置它的值

36c4f91fb46add9e1ddb7861727ee02f.png

式中,为离散的伪图像坐标中边界框中心与对应像素之间计算的欧氏距离。预测值表示目标中心,表示该pillar为背景。

,即代表BEV中的目标中心,将被视为阳性样本,而所有其他pillar将被视为阴性样本。作者使用改进的Focal Loss:

25e75fc74aee17f226d7f842ed0e7996.png

训练heatmap,其中N是检测范围内的物体数量,α和β是超参数。在所有实验中使用α=2和β=4。

对于 offset regression head,有两个主要功能。首先,它用于消除由pillar化过程引起的误差,在pillar化过程中,将浮动目标中心分配给BEV中的整数pillar位置,如上所述。第二,它在细化heatmap目标中心的预测中起着重要作用,特别是当heatmap预测错误的中心时。具体而言,一旦heatmap预测到距离GT中心数个像素的错误中心,offset head就能够减轻甚至消除对GT目标中心的数个像素误差。

在offset regression 图中围绕目标中心像素选择半径为的正方形区域。到目标中心的距离越远,偏移值就越大。使用L1损失训练偏移head:

a22cd1a96bddeab67672026b0b3fe99c.png

其中,训练仅针对关键点位置周围的边长为的正方形区域。

2、z轴位置回归

在BEV中定位目标之后,只有目标的x-y位置。因此,有z轴的位置头来回归z轴的值。使用L1损失直接回归z值

07cc1c9e64cfd91a41d87dadb03fbe9a.png
3、大小回归

此外,还直接回归了目标大小。对于每个目标都有。回归的训练损失为

b231793128fa1c17515d493eb5f9edd9.png

这也是L1的损失。

4、方向预测

目标k的方向θ是围绕垂直于地面的z轴旋转的标量角度。按照CenterNet将其编码为8个标量,每个bin有4个标量。2个标量用于softmax分类,另外2个用于角度回归。2个bin的角度范围为和,略有重叠。

对于每个bin,预测,用于softmax分类和,用于计算到bin中心γ的偏移的sin和cos值。用softmax训练分类部分,而用L1损失训练偏移部分。因此,方向训练的损失是

ab4bb698d13d506969b067e6d6ccf95a.png
5、损失函数

已经描述了每个损失。总的训练损失函数是:

1e8f2d8595035c91e7f6ef2735e57697.png

其中,λ表示每个头的权重。对于所有的回归头,包括局部偏移量、z轴位置、大小、方向回归。

6、收集索引并解码

在训练阶段,不对整个特征映射进行反向传播。相反,只反向传播作为所有回归头的目标中心的索引。在推理阶段,使用最大池化和and操作来寻找在CenterNet之后的预测heatmap中的峰值,这比基于iou的NMS更快、更有效。

在最大池化和and操作之后,可以从关键点heatmap中轻松地收集每个中心的索引。设表示检测到的BEV目标中心的集合。有,其中n是检测到的目标的总数。那么BEV中的最终目标中心将是,其中,位于使用索引,对于所有其他的预测值,它们要么直接来自回归结果,要么已经提到了上面的解码过程。目标的预测边界框为:

914cc93894c5502dc26da3e790187999.png

3.3、Backbone and Necks

在这项工作中对主干进行了几个关键修改,以支持Anchor-free检测器。网络包括主干部分和neck部分。主干部分类似于分类任务中使用的网络,该网络用于提取特征。neck部分用于对特征进行上采样,以确保来自主干的不同块的所有输出具有相同的空间大小,以便可以沿一个轴连接它们。图2显示了主干和neck的细节。

ea0c605b543566d806abcceaad67d230.png

首先,将主干从3个block减少到2个block。block 由具有个输出通道的个卷积层组成,每个卷积层后面跟着一个BatchNorm和一个ReLU。被定义为该块的下采样步长。通过将block的数量从3减少到2,移除了下采样4次的特征图。因此,将上采样Neck 从3减少到2。每个上采样Neck 包含一个带输出通道的转置卷积和上采样步长,后跟BatchNorm和ReLU。第二,使用的第一个块是,与输入大小相比,它没有对输出特征大小进行下采样。

因此,最终的主干和颈部由两个块和组成,随后分别是两个上采样颈部和。通过这样做,输入特征图和伪图像的宽度和高度是相同的。

总之,在生成特征图的过程中,不进行降采样,这对于保持KITTI数据集的类似检测性能至关重要。减少下采样步长只会增加FLOP,因此作者还减少了主干和Neck的过滤器数量。事实证明,主干和Neck的FLOP较少。

4、实验

d498957327089a7a4adc74df1f1c3016.png f29a3489d409ea35d4c7552418c8b298.png d5eb264c321866e4fbc94a60beb04b50.png 5cb95ed2c8e680564be7a12054b54c82.png 8ed3a5cf7c19db040f6b808be933d9d2.png

5、参考

[1].AFDet: Anchor Free One Stage 3D Object Detection.

往期回顾

NIPS2022 | 港大最新Sparse2Dense:通用点云3D检测稠密模块!

ddc8929a7f9a955baff13f72163f4f5d.png

自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向;

ffd243ae921eb1911db914eecdf297eb.jpeg

添加汽车人助理微信邀请入群

备注:学校/公司+方向+昵称

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知(分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测)、自动驾驶定位建图(SLAM、高精地图)、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球(三天内无条件退款),日常分享论文+代码,这里汇聚行业和学术界大佬,前沿技术方向尽在掌握中,期待交流!

b3897f25c305ebf127ee789418d67721.jpeg

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 将yolov5改成anchor-free需要对其网络结构进行修改。anchor-free目标检测算法不需要预先定义anchor框,而是直接预测目标的位置和大小。因此,需要修改yolov5的网络结构,使其能够直接预测目标的位置和大小,而不是通过anchor框来预测。具体的修改方式需要根据具体的实现情况进行调整。 ### 回答2: YOLOv5是一种基于锚定框(Anchor Box)的目标检测算法,锚定框是在图像上预定义多个大小和长宽比不同的矩形框,通过对这些矩形框进行回归,实现对目标位置的定位和分类。 然而,在使用锚定框的过程中,需要人为定义多个锚定框,增加了模型设计的复杂度,同时也会存在一些缺陷,比如对于一些目标比较小或存在变形的情况,选择合适的锚定框会很困难,导致检测效果不佳。 针对这些问题,许多学者们提出了一种新的思路,将锚定框从目标检测中去除,不使用锚定框的方法被称为Anchor-FreeAnchor-Free目标检测的方法有很多,其中比较常用的有CenterNet系列和CornerNet系列算法。 以CenterNet为例,其思路是直接预测目标的中心点,同时对于每一个位置,预测分别属于不同类别的概率值和目标的尺寸大小和方向。在预测框的过程中,只需要通过预测得到的中心点和目标的尺寸大小就能够得到目标的位置,无需使用锚定框。 要将YOLOv5改成Anchor-Free,可以从以下几个方面入手: 1.模型结构修改:去除锚定框,并改变网络结构,例如CenterNet采用的NetHead结构。 2.学习率调整:由于Anchor-Free的方法具有不同于锚定框的特点,需要针对模型进行学习率的调整。 3.数据处理:在训练数据上要做出相应的调整,比如CenterNet需要将目标的中心点位置和尺寸作为真值标签。 4.实验调优:调整损失函数等超参数,使模型达到最好的检测效果。 总之,将YOLOv5改成Anchor-Free需要在网络结构、数据处理和实验调优等方面进行相应地修改和调整,以提高目标检测的性能。 ### 回答3: 将YoloV5改成Anchor-Free需要对其进行一些修改,因为YoloV5使用的是Anchor-based的检测方式。 首先需要了解Anchor-Free检测的原理。Anchor-Free检测的主要思想是使用中心点和高宽来预测边框。这种方式避免了Anchor-Based检测需要创建大量Anchor Box的问题。在Anchor-Free检测中,需要将特征图分为不同的划分区域,然后在每个区域中通过分类和回归网络输出检测框。 改变YoloV5中的Anchor-Based方式,需要在网络结构中进行修改。首先,需要删除Anchor Box的生成模块。其次,需要增加一个针对中心点和高宽的回归和分类网络。这个网络需要对每个像素点进行预测,以得到检测框信息。最后,需要在训练阶段重新调整损失函数,以适应Anchor-Free检测方式。 另外,Anchor-Free检测方法会因为没有Anchor Box的约束而导致检测框的数量非常多。一个有效的解决方法是使用NMS算法,将重叠的检测框合并成一个。 总之,将YoloV5改为Anchor-Free需要从网络结构、损失函数、NMS算法等方面进行修改和优化,以适应新的检测方式。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值