3D Point Cloud Generation with Millimeter-Wave Radar

Abstract

新兴的自动驾驶系统需要可靠的3D环境感知。不幸的是，目前的主流认知模式，即照相机和激光雷达在具有挑战性的照明和天气条件下易受攻击。另一方面，尽管车辆雷达全天候工作，但今天的车辆雷达仅限于位置和速度检测。在本文中，我们介绍了MilliPoint，这是一个实用的系统，它提高了生成三维点云的雷达感应能力。MilliPoint的关键设计原则在于使合成孔径雷达（SAR）能够在低成本的商用车辆雷达上成像。为此，MilliPoint对信号变化与雷达运动之间的关系进行建模，实现了雷达在波长尺度精度下的自跟踪，从而实现了相干空间采样。此外，MilliPoint通过使用后成像处理正确聚焦目标，解决了镜面反射的独特问题。它还利用雷达的内置天线阵列来估计反射点的高度，最终生成3D点云。我们已经在一台商用车雷达上安装了Millpoint。我们的评估结果表明，与现有的车载雷达解决方案相比，MilliPoint能够有效地对抗运动误差和镜面反射，并且能够构建密度和分辨率更高的三维点云。

1 INTRODUCTION

三个挑战：

首先，相干信号合成要求在信号波长范围内对雷达设备进行精确定位，车辆雷达的信号波长范围仅为几毫米。然而，这种精度在现有的移动定位方案中是无法实现的。其次，正确的SAR成像需要一个适当的聚焦机制，该机制直观地定义了SAR的“瞄准方向”和生成图像的中心坐标。一种简单的方法是将图像中心设置在天线光圈的平分线上，就像相机图像的中心位于镜头的指向方向一样。这种方法已用于基于SAR的遥感[6]。然而，由于镜面反射，雷达是“盲”的，在其移动轨迹上的某些位置不接收信号。因此，在光圈的中间直接聚焦可能会产生一个带有消失物体的空白图像。第三，SAR只能提高横向距离维度（即雷达的运动方向）的分辨率，而横向距离维度与纵向距离维度（垂直于横向距离）相结合，形成一个二维图像平面。然而，距离维度不仅编码深度，还编码关键的高度信息。如果不提取高度，就无法区分目标的大小和形状。

为了克服这些挑战，我们提出了MilliPoint，这是一种汽车雷达系统，旨在生成密集、高分辨率的周围物体的3D点云。如图1所示，MilliPoint利用车辆雷达的自然线性运动，沿其轨迹相干地组合射频样本，以提高传感分辨率。为了沿交叉距离准确定位雷达，我们的主要观察结果是，雷达上不同的Tx/Rx天线对可能会经历类似的信道响应，并具有滞后效应，延迟取决于天线对之间的间距。因此，MilliPoint连续估计延迟，并将其转换为雷达沿交叉距离孔径的相对位置，精度为毫米级。为了克服聚焦伪影，我们首先在考虑镜面反射效应的情况下对雷达的有效天线孔径进行建模。受光场摄像机[2]的启发，我们设计了一种自动对焦算法，该算法在场景中分别对焦每个对象，然后合成一幅多聚焦图像。为了生成三维点云，MilliPoint利用沿垂直方向的有限天线孔径。为了计算效率和高度分辨率，它将单个Tx/Rx天线的成像结果作为输入，然后根据不同图像像素值之间的对应关系提取高度信息，就像从多视点相机图像进行3D重建一样.

首先，我们提出了一种新的同时成像和雷达自跟踪算法，利用雷达天线上的短期信道相关性实现毫米级定位精度。其次，我们设计了一种自动多聚焦方案，以克服镜面反射的影响，从而实现对反射点的密集和精确估计。我们进一步从多幅SAR图像中推断高度信息，最终生成环境的3D点云。第三，我们在汽车雷达上实现并验证了MilliPoint设计，并在真实驾驶场景中进行了案例研究。 

2 PRELIMINARY

本节介绍SAR成像的基本原理，以及在车辆环境中使用SAR生成3D点云所面临的挑战。

2.1合成孔径雷达成像基础

2.2 雷达点云生成的挑战

孔径运动误差

镜面反射导致失明

缺少用于生成三维点云的高度信息

3 SYSTEM OVERVIEW

MilliPoint由三个主要部分组成：自交叉距离跟踪、目标检测和聚焦以及三维点云生成。

 

 

4 SYSTEM DESIGN

4.1自我横向距离跟踪

雷达样本的互相关。

强大的自我追踪。

4.2 自动多重对焦

镜面反射的建模。

目标检测和聚焦。

4.3 三维点云生成

使用共注册像素进行高度估计。

突出像素的选择。

点云的处理。

5 EXPERIMENTAL RESULTS

实验设置：我们将一个ZED立体相机与Radar共定位，跟踪其地面真实位置，捕获实验场景的视点云，如上图所示。雷达垂直放置，以达到更高的高度估计垂直精度。为了了解MilliPoint的性能，我们在一个室内宽敞的大厅里进行了受控的微基准测试。雷达安装在一辆手推车上，以模拟一辆可移动的车辆。此外，在一个户外停车场进行了案例研究，以演示MilliPoint在实践中的应用。雷达安装在汽车的右前门，我们驾驶汽车通过目标场景。通过微基准测试和案例研究，我们将表明，与传统解决方案相比，MilliPoint大幅提高了点云密度和分辨率。

微基准（室内）：

自我跟踪精度：

 目标成像质量：

 目标聚焦的有效性：

 

 高度估计的准确性：

 案例研究

(i)静态雷达:位于交叉距离孔径中间时产生点的独立雷达。

(ii)非相干成像:在不同位置非相干地合并点，类似[69]。

这两种方法都是通过识别散射点的距离和二维角度来生成点。

 

6 DISCUSSION

①MilliPoint利用SAR成像来提高雷达分辨率，并生成更密集的点云。

②MilliPoint的设计是为了提高毫米波雷达的分辨率。

③本文在Matlab中实现了毫米波点算法，并重点论证了该算法的可行性和有效性。目前的实现不能实时处理雷达数据。自跟踪、自动多聚焦和三维点云生成分别需要0.5、0.61和0.47 s，1s的数据

7 RELATED WORK

汽车感知技术：①相机对光线变化很敏感，不能在黑暗环境下工作，这使它们无法成为自动驾驶的独立传感器。②由于天线阵的形状因素的限制，传统车载雷达存在分辨率低和镜面反射的问题，并且只能生成稀疏和局部的目标点云，在我们的现场测试中得到了证明。相比之下，MilliPoint开发了毫米精度的自跟踪算法，使SAR成像[6]具有更好的分辨率，并为自动驾驶应用生成3D点云。MilliPoint是一种为道路上的一般物体设计的封闭式方法。

无线无处不在的传感与潜在的车辆使用案例：这些系统仍然缺乏分辨率，因为它们只能精确定位环境中的主要反射。

8 CONCLUSION

SAR成像已被应用于机载、轨道和安全领域。然而，在应用于消费级车辆雷达时，它面临着根本性的挑战。我们的MilliPoint系统标志着识别此类问题和开发解决方案的第一步，可在现实世界的3D场景中证明。通过实现全天候3D点云生成，MilliPoint可以成为昂贵的激光雷达设备的替代或补充解决方案。雷达成像数据的积累也可能激发新的感知算法，跨越射频感知和机器视觉的边界。

[1] 3D Point Cloud Generation with Millimeter-Wave Radar