【论文笔记】—毫米波雷达穿雾式高分辨率成像—Supervised—HawkEye系统—2020-CVPR

题目：Through Fog High-Resolution Imaging Using Millimeter Wave Radar

利用毫米波雷达进行穿雾式高分辨率成像

DOI：10.1109/CVPR42600.2020.01148
时间：2020
会议：2020-CVPR
机构：伊利诺伊大学厄巴纳-香槟分校

论文链接：https://ieeexplore.ieee.org/document/9157693
​​​​​​​代码链接：https://github.com/JaydenG1019/HawkEye-Data-Code

关键词：毫米波雷达、数据合成器、HawkEye、分辨率

提出问题：
目前主流的三种感知传感器的优缺点总结如下：

光学传感器（如相机和激光雷达）无法穿透浓雾，对不利天气的抵抗能力低。毫米波信号在能见度低的条件下具有良好传播特性，但是毫米波雷达存在非常低的分辨率、镜面反射和噪声伪影。

与激光雷达或相机相比，毫米波的分辨率极低（图1(d,e)所示）。

mmWave图像显示为雷达反射的斑点，并且几乎不携带上下文和感知信息。来自汽车的无线反射也可以从道路和其他汽车上反弹，并沿着多条路径传播到毫米波接收器，在场景中的不同位置创建阴影反射和伪影。

解决方案：
HawkEye系统：一个利用cGAN体系结构从原始低分辨率毫米波热图恢复高频形状的系统。

创新点：
1、提出了一种新颖的设计，解决了特定于所涉及的雷达信号的结构和性质的挑战。
2、开发了一个数据合成器，以帮助生成用于培训的大规模数据集。

应用领域：
自动驾驶汽车：使用毫米波雷达，可以在浓雾中感知和预测汽车的形状（图1(f)所示）。

目前现状：
1、汽车制造商仍只将毫米波雷达用于单向测距，即确定与其他车辆的距离。
2、机场扫描仪：使用人体大小的机械可操纵阵列来提高分辨率。它们还隔离近场成像的对象，以消除多径反射，并围绕对象旋转阵列以解决镜面反射问题，设计会非常笨重，对于自动驾驶汽车来说并不实用，因为我们无法控制正在成像的汽车。
3、目前基于深度学习的研究：只能在短距离内工作，并且都将雷达数据用作系统的输入和地面实况，这使得它们天生无法应对镜面反射和多径等挑战。

毫米波成像介绍：

毫米波雷达的工作原理：发射无线信号并接收来自场景中各种物体的反射。

图3显示了本文毫米波成像雷达的输出：

与（a）中的汽车相对应的3D热图在（b）中显示为点云。

点云是通过对反射信号能量非常弱的体素进行阈值化来生成的。

在（c）中的2D俯视图和（d）中的2D前视图中显示了3D热图的投影。

该图还将汽车轮廓覆盖在2D热图上，以更好地显示反射的来源。

对于实际孔径尺寸（几厘米），输出的毫米波雷达图像沿方位角和仰角尺寸（类似于图4（b）中所示的方位角和仰角尺寸）与非常宽的2D sinc函数进行卷积。2D sinc功能消除了几乎所有高频感知内容，如对象边界。这就是为什么图3中的毫米波图像看起来像水滴。sinc side-lobes还在图像中产生伪影和噪声，如图3中的2D投影所示。

图4毫米波成像遇到的挑战：

如图4（a）所示的镜面反射，使得汽车的某些部分无法成像，如图3所示，其中汽车表面的大部分缺失。此外，由于多径传播，一些反射从街道和其他障碍物反弹，并追溯到接收器，如图4（a）所示，在图像中产生许多伪影，如图3（c，d）所示。

网络模型：

HawkEye有四个模块：

1、mmWave Module：定制的毫米波成像模块，捕捉3D毫米波热图。

2、Stereo Module：宽基线立体相机系统，以捕获高分辨率的二维深度图为ground-truth。

3、Synthesizer：用于数据增强训练数据集的数据合成器，从汽车的3D CAD模型和毫米波射线跟踪算法合成数据。

4、GAN：为自动驾驶汽车背景下的毫米波成像定制的GAN架构。

总的来说：给定输入的毫米波雷达射频热力图x，学习一个条件生成器(conditional generator) G。这个条件生成器采用了encoder-decoder结构。虽然毫米波热图的空间分辨率较低，但由于其较大的传感带宽，可以在depth这一维度上实现较高的分辨率。为了在深度上保留这些高频(high-frequency)细节，在设计中使用了skip-connection。本文基于判别器D 的输入为成对的 (x, y) 和 (x,G(x)) ，并学习如何区分它们。

生成器与判别器联合训练，判别器试图区分生成的输出与ground-truth，而生成器试图欺骗判别器。本文还使用L1和感知损失(perceptual loss)使生成器的输出与输入到它的实例保持一致。

输入和输出表示：

输入：使用感应到的毫米波热图中的每体素能量作为在三维球坐标系（φ，θ，ρ）中的输入表示。

输出：GAN的输出是物体的高频形状。

在立体相机帧中以2D深度图的形式表示预测的形状，其中GAN预测图像中每个像素的深度。

生成器学习从R64×32×96到R256×128的映射。

设计混合的3D到2D转换：

感应到的毫米波信号分辨率很低，我们不想通过将感应到的3D热图投影到2D来引入进一步的混叠。同时，我们希望高频形状作为输出。由于计算和优化的原因，预测高分辨率3D热图是一个挑战。因此，我们选择将输出表示为2D深度图。

此外，请注意，毫米波信号仅提供视线中金属表面的反射，因为毫米波被金属表面屏蔽。因此，汽车的2D深度图表示可以作为有意义的中间表示，可以对其进行后处理以构建完整的3D预测。

生成器：

编码器：将输入的3D热图映射到低维表示Z。（Z 向量为2048维）

解码器：使用这种低维表示来产生二维深度预测。

编码器组成：该编码器由6个3D卷积层以及Leaky-ReLU激活函数和Batch-Norm层组成。

解码器组成：解码器从2048维 Z 向量开始，并使用8个反卷积层来生成2D深度图。使用Batch-Norm和ReLU激活反卷积层。最后，使用双曲正切函数和线性变换，将生成器的输出映射到场景中的绝对深度。

跳过连接：

还在生成器中使用跳过连接[50]。跳过连接为解码器的更高层提供来自编码器输入层/早期层的高频信息。虽然这在将2D映射到2D或3D映射到3D的网络中很简单，但我们的网络学习3D到2D的投影。因此，我们的跳过连接设计将输入的3D热图投影到2D图像中，该图像与解码器的更高层连接。该投影如下所示。我们通过记录沿投影在该位置的光线的最大值对应的位置来计算以下2D图像：

简单地选择对应于最大值的深度是不稳定的。因此，我们选择m个最大值，并创建m=8个2D特征图通道，从最高到最低的幂次排序。这些2D特征图与解码器中第6层的特征图相连，以便直接从雷达热图中提取高分辨率深度信息并传递到输出，以便在深度上保留高频细节。请注意，此投影是在球坐标系中完成的，而我们的输出是在相机坐标系中完成的。由于相机的视场不是很大，两幅图像仍然很好地对齐。这是一个不可微的操作，只对输入进行操作。

判别器：

两个输入：3D 热图 x 和 2D 深度图，深度图由真实值 y 和 G(x) 混合组成。

一个输出：为输入真实的概率。

通常，生成器的输入和输出属于相同类型（均为 2D 或均为 3D）。 然而，在本系统中，输入是 3D，输出是 2D。 因此，作者采用two-stream架构，使用两个独立的网络将 x 和 y（ground-truth） 映射到 1D 特征向量，然后将它们融合以对真实样本和生成样本进行分类。3D热图 x 通过 3D CNN 处理与生成器中使用的架构相同，但权重不同，而深度图 y 或 G(x) 则通过 8 层 CNN。 两个网络都产生 512 维表示，这些表示被连接并传递到 2 个全连接层以输出最终分类。

损失函数：

L1损失（在基本事实和预测之间）。

Lp知觉损失项（关于预训练神经网络的激活，VGG在本文的例子中，关于y和G（x））。

在训练期间，D和G进行了优化，以将LH（G）损失降至最低，如下所示：

虽然L1损耗对像素预测无效，但输出是深度值，因此L1是有意义的。使用VGG网络的特征空间来计算感知损失。将深度图像复制到一个3通道图像中，并将其馈送到预先训练的VGG网络中。

HawkEye采用了三种损失的组合（公式4），λ1和λp是手动调整的损失函数的相对权重。使用这个损失函数可以让 HawkEye 准确地捕捉图像中的低频和高频分量。这会产生真实的代表场景的可感知解释的高分辨率图像。

用于训练数据生成的数据合成器:

一般来说，使用定制的mmWave模块收集真实世界的mmWave数据是非常耗时的。因此，使用真实数据进行训练将花费非常长的时间。为了解决这个问题，作者构建了一个合成器，从3D CAD模型生成成对的3D mmWave热图和2D汽车深度图。该合成器旨在创建三维点反射模型的汽车，然后模拟mmWave雷达信号使用射线跟踪。它考虑了多路径反射以及基于反射角度的高光性，以生成真实的mmWave 3D热图。模拟分为三个阶段:

(1)场景生成

作者首先基于两类数据集生成汽车场景:用于自动驾驶的3D CAD模型和街景视频记录数据集Cityscapes。3D CAD模型提供了各种车辆的精确3D网格，而街景照片为汽车在相机框架中的放置提供了参考。作者在街景上应用Mask R-CNN来检测感兴趣的物体。

(2)光线追踪

这里作者在场景中模拟mmWave反射器。首先，通过球面投影去除遮挡体。然后，将其余部分建模为点反射器簇，其中点的数量表示雷达截面的大小。将每个簇的高光性分类为散射角或大部分高光面，参照已知的汽车轮廓。最后，在考虑镜面高光性的情况下，对点反射器进行了标准的射线追踪。

(3)毫米波热图与Ground-truth Generation

作者基于引入背景噪声的点反射器模型模拟接收信号。在毫米波信号中加入了热噪声和相位噪声。此外，为了避免在实验设置中对毫米波和立体相机模块之间的场点和视点进行异常的外部校准，作者将相同的位移导入到合成器中以在立体相机视点进行预测，并准确地训练与测试 HawkEye 的 GAN 架构。

实验数据：

没有公开可用的毫米波雷达数据集。

使用定制的毫米波成像平台收集我们自己的数据集。用60 GHz的无线电模拟了一个2D天线阵列，并传输一个标准雷达波形来捕获3D毫米波热图。为了获取相应的高分辨率二维深度图，构建了一个定制的宽基线立体相机系统。将iPhone摄像头安装在一个精度低于毫米的线性滑块上，以捕获场景的多幅图像，并应用标准的立体图像处理算法来提取2D深度图。线性滑块设置稳定，允许校准一次，并对所有实验应用相同的校正。使用掩码R-CNN生成的标记对象掩码过滤掉不属于感兴趣车辆的像素。

拍摄了327个汽车场景，背景分为三种：室内停车场、室外停车场和室外汽车通道。该数据集包括跨越60种不同车型的9类汽车。

创建了一个由成对的3D毫米波热图、RGB相机图像和立体相机深度图组成的数据集。

除了真实数据外，还有4000个合成场景，由HawkEye的data synthesizor为120个车型生成。

雾/雨对照试验：

拍摄的327个真实场景中，有101个在雾和雨中进行的实验，以测试HawkEye在当前光学传感器失效的低能见度条件下的性能。由于实际的限制，如水对设置造成损害的风险，在模拟真实雾和雨的地方进行了控制实验。使用雾机和高密度水基雾液来模拟严重和真实的雾条件。在感兴趣的物体（汽车）周围的受限区域使用水管模拟降雨。

训练：

HawkEye’s GAN分两个阶段训练。在第一阶段，使用一个包含3000幅图像的合成数据集（批量大小为4），对170个时代进行训练。在第二阶段，使用在晴朗天气下拍摄的100幅真实毫米波图像，对另外60个时期的模型进行微调。需要注意的是，HawkEye的GAN模型从未在雾天或雨天收集的样本上训练过。训练需要在Nvidia Titan RTX GPU上进行12小时。在1000幅合成图像上测试了HawkEye的性能，剩下的227幅真实图像包括雾和雨实验。对于测试，遵循k=5的标准k-fold交叉验证来测试所有327个场景，同时确保在培训期间不使用测试数据集中的示例。

基准：

我们将HawkEye与以下三个进行比较：

1、毫米波雷达：与原始毫米波雷达热图进行比较，以评估HawkEye对低分辨率和伪影雷达图像的改善。

2、基于L1的损耗：为了确定GAN和判别器在HawkEye中的效用，我们将其与仅使用基于L1的损耗函数训练的相同神经网络进行比较，L=L1+λpLp，如等式（1）和（2）中所定义。

3、最近邻方案：有人可能会说，我们的方法拟合过度，只是从训练数据集中记忆样本点。为了理解这一点，我们将其与最近邻方案进行比较，最近邻方案在3D雷达热图的输入特征空间中以最小欧氏距离检索样本。

定性评估：

图6和图7分别显示了HawkEye在晴天和雾天的表现。4在两种可见性条件下，HawkEye都能准确地重建场景中汽车的形状和大小，并捕捉关键的定义特征，如车轮和方向，其效果相对优于其他基线。HawkEye还可以在3D空间中准确地确定到汽车的距离，从深度图中的强度可以看出这一点。HawkEye在雾天和雨天5中准确成像的能力，尽管没有使用此类示例进行训练，但表明由于毫米波信号的良好传播特性，我们的模型可以在不同天气条件下很好地推广。此外，请注意，尽管HawkEye主要根据合成数据进行训练，但只需少量微调，它就可以很好地推广到具有不同背景和可见性条件的真实场景。因此，模拟器忠实地模拟了真实的毫米波热图。

失败案例：

图8显示了HawkEye的一些典型故障案例。（i） 和（ii）来自雾实验。在（i）中，虽然HawkEye估计了正确的边界框，但它错误地判断了汽车的前部和后部。在（ii）中，尽管HawkEye成功地检测到了汽车的角落，但由于热图中的强虚拟反射和镜面反射，它错误地估计了汽车的方向。最后，我们系统当前的一个限制是，当场景中有多辆车时，其性能会恶化（图8（iii））。为了解决这个问题，未来的一个潜在方向是采用类似于[64]的区域建议网络，HawkEye可以首先从场景中的汽车中分离反射，然后分别重建每辆汽车。

定量评估：

我们评估汽车的范围、大小（长度、宽度、高度）和方向，因为它们代表了场景中汽车的上下文信息。我们将到汽车最近角的距离定义为范围，将方向定义为汽车较长边缘与0之间的角度◦ 毫米波热图的方位角。我们还通过比较HawkEye沿场景前视图的输出中（a）%的汽车曲面缺失（假阴性）和（b）%的虚拟反射（假阳性）来评估形状预测的准确性。注意，（a）表示镜面反射效应，而（b）表示图像中的多路径和环境反射等伪影。补充材料包括我们如何提取量化指标的更详细描述。

表1显示了HawkEye与基准方案相比的中位误差。这些结果是从168个洁净空气场景、59个雾场景和510个合成场景中提取的。我们将HawkEye的表现与下面的每个基准进行比较。

1、毫米波雷达：HawkEye在雾天和晴天的测距精度分别提高了1.35倍和2倍。虽然毫米波雷达可以获得较高的测距分辨率，但雷达热图中的伪影会导致较大的测距误差。HawkEye设计中的跳跃连接允许将高测距分辨率从毫米波雷达输入直接传输到HawkEye的输出，同时HawkEye的GAN模型还修正了sinc伪影，以实现较低的中值测距误差。然而，请注意，HawkEye相对于毫米波雷达的增益在其他指标中变得更加明显，虚拟反射器的百分比从2×增益到12×增益。这是因为其他指标对镜面反射和多径伪影更加敏感，HawkEye可以通过校正这些噪声源来显著改善这些指标。

2、基于L1的损失：与HawkEye相比，L1损失基准在测距误差方面取得了良好的性能。这是意料之中的，因为优化2D深度图上的L1损耗将直接优化测距误差。然而，L1损耗无法捕获输出形状的高频分量，导致边界模糊。因此，对于L1损耗，估计尺寸、方向和虚拟反射器的误差很高，HawkEye在这些指标上实现了大约2倍的性能增益。这些结果证明了GAN结构在HawkEye中的重要性。

3、最近邻方案：HawkEye优于最近邻基准，在晴朗天气下可提高1.3倍至3倍，在雾天可提高1.4倍至2.4倍。这表明我们的模型没有过度拟合，可以很好地推广到测试集中的新数据点。

对于合成数据集，性能趋势相似。上述结果表明，HawkEye能够在晴朗天气和低能见度条件下真实地重建场景中汽车的精确和高分辨率图像。需要注意的是，HawkEye在雾中的表现与晴朗天气相比略有下降。这可归因于雾中存在水颗粒时60 GHz射频信号的传播特性较差。值得注意的是，由于FCC法规的限制，我们只能在60 GHz的未授权频谱上建立我们的实验装置，与毫米波段的其他频率相比，水粒子的衰减更大。我们认为，使用商用级毫米波雷达实施HawkEye，该雷达的频率为77 GHz，专门用于汽车雷达应用，将解决此处观察到的性能下降问题。