基于毫米波雷达（mmWave Radar）与摄像头（Camera）融合（Fusion）的人行道行人检测（Detection）

Pedestrian Liveness Detection Based on mmWave Radar and Camera Fusion

公众号：EDPJ

下载链接： https://www.pure.ed.ac.uk/ws/portalfiles/portal/289946438/Pedestrian_Liveness_LI_DOA18072022_AFV.pdf

0. 摘要

自动驾驶需要对周围的目标进行检测，尤其是对行人。然而，在真实的道路环境中，不止有行人，还有路边广告牌上的肖像。现存的基于视觉的目标检测（objective detection）技术不能精确地区分行人与肖像。作为自动驾驶重要的传感器，毫米波雷达（mmWave radar）可以辅助对行人的检测。作者从低功耗毫米波雷达信号中抽取雷达散射截面（Radar Cross Section，RCS）作为区分行人与肖像的特征。基于此，作者提出了毫米波雷达和基于注意力（attention）机制的计算机视觉（computer vision）的特征融合网络（feature fusion network），并且基于融合的特征检测行人。

RCS：把毫米波雷达的射频信号（RF signal）当做用于分类的关键特征，而不是单纯的位置信息或者信号强度。

1. 介绍

在自动驾驶中，检测行人很重要。此外，也不可把非行人（如其他车辆和路边行人广告牌上的肖像）判定为行人。错误的行人目标会让自动驾驶系统误判，从而误操作，例如：不必要的紧急制动、威胁道路交通安全、减少交通效率（如：交通堵塞）。

在商用交通工具中，三原色相机（RGB camera）和毫米波雷达被广泛使用。相机可提供丰富的视觉信息，从而对影像中的目标进行精确定位。然而，当目标的视觉要素（视觉特征）相似时，基于视觉特征进行图像分类或分割都容易出错。因此，对于相机来说，区分行人与肖像是个难题，尤其是对于距离较远而在图像上只有少量像素的目标来说。与此相反，毫米波雷达基于射频信号（RF signal）进行检测，从而不受视觉信息干扰。此外，它还可有效的检测距离较远的目标。但是，雷达的点云（point clouds）是稀疏有噪的，且相比于相机图像，它的角度分辨率（angula resolution）很低。因此，它不能基于目标的外观进行分类。

经观察，行人与干扰目标（如：广告板上的肖像）十分不同。这是由于外形、材料以及皮肤反射特性上的差异。相比于模糊的信号强度，行人的远距离多角度的RCS值是一致的。因此，RCS很适用于远距离，目标分类。

综上，本文提出了融合雷达RSC和源于摄像头的视觉信息的多模态神经网络（multi-modal neural network）。作者使用YOLOv3（最新的基于图像的目标检测器）进行多模态输入和特征提取，并且通过attention机制动态整合RCS特征和视觉特征。