毫米波雷达一百问！（检测/SLAM/融合/4D雷达等）

编辑 | 自动驾驶与AI

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

本文只做学术分享，如有侵权，联系删文

最近很多小伙伴对毫米波雷达相关的内容表现出较大兴趣，也向我们提出了很多问题，为了方便大家学习，自动驾驶之心在这里做好了整理，暂定100问，后面将持续更新，主要是学术界和工业界最常遇到的问题，希望能够帮助到大家！

所有问答出自：国内首个自动驾驶技术学习社区--自动驾驶之心知识星球

1.各位大佬，想问一下，我当前是研一，研究都是路侧毫米波雷达传统目标跟踪方面的算法并实现落地项目，例如聚类，EKF,UKF,PDA,MHT等传统算法，实验室这方面积累较少，没有论文产出，当前自动驾驶领域公司是否有非深度学习毫米波雷达感知的职位？如果要进入自动驾驶领域是否必须要掌握深度学习MOT算法？要获得感知算法的工作要怎么样的学习路线？

答：多传感器后融合一些岗位还是对卡尔曼滤波类算法应用比较多，为了找工作的话，深度学习的MOT方法自然也是要了解的，后面技术也是进步的，比如目标跟踪也会引入一些时序，将检测和跟踪做到一起，都是可以做的。感知算法：基础就是传感器的一些知识，深度学习、检测、分割、跟踪一些原理，主要是进入一个方向，多了解下这个方向的经典方法，并可以实际运行复现，后面就是针对实际场景去调整策略，优化和修复特定一些问题，整个过程还是比较考验定力的，绝不是一蹴而就的。

2. 请问一下，现在有公开的4D毫米波雷达点云数据集吗？想验证一些点云处理算法

答：可以看看这个paper，K-Radar:4D Radar Object Detection for Autonomous Driving in Various Weather Conditions

3.准备研二了，想问一下，在对毫米波雷达原始数据处理算法上还有什么值得研究的内容吗？我搜了一下，近几年基本没什么论文是关于这些方面的（DBF DOA  CFAR  Clustering，目标跟踪之类的）

答：可以关注一些Deep learning的方法，比如RODNet这样用卷积处理原始数据的；

4.目前在读研一，研究方向是毫米波雷达与摄像头融合，用于智慧交通中融合两个传感器检测并跟踪车辆行人等。目前导师安排我做决策级融合，并希望我用传统算法比如卡尔曼、贝叶斯、D-S等等来实现，但是我看到目前基于深度学习神经网络的融合是目前热门的研究方向，所以我想请问一下:

1.传统算法和深度学习那个方向比较好发高质量一点的论文？

2.传统算法和深度学习那个融合性能和效果好一点？

3.传统算法的融合检测跟踪最新的一些研究方向方法和进展？深度学习的融合检测和跟踪最新的一些研究方向方法和进展？

4.推荐的学习路线论文和资料等等？

答：非大佬，也在学习后融合中。对于你的需求，我认为是想完成这个项目的同时，做一些创新以发表论文。

1. 深度学习尤其是端到端相较比较容易一些，传统算法对于数理逻辑概率论等一些基本数学能力、推导能力要求比较高，无论是DL还是传统的做好了都可以发高质量论文，这个取决于你的工作质量。

2. 性能来说，数据量堆上去了，可以看到深度学习MOT的论文都会对比传统算法肯定初始性能会更好。但是对于你的应用场景，只谈性能不谈扩展性和可解释性是不太可能的(传统算法出问题更容易追溯源头），而且会有各种处理逻辑要处理。因此这个需要你考虑。

3. 传统算法我了解并不是很多，可以推荐给你一些性能可能会更好的方法，都是路端的RV融合跟踪：Robust Target Detection and Tracking Algorithm Based on Roadside Radar and Camera，A Roadside Camera-Radar Sensing Fusion System for Intelligent Transportation深度学习的来说，可以看一些REID的部分，关注一些端到端？CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object Tracking

4. 学习路线的话：首先对MOT有个基本认识。然后了解一些运动模型，传感器原理等基础，然后看看经典的滤波，关联匹配算法等，结合一些apollo或者matlab工具箱的融合功能部分，一步步深入了解系统工程中的各个算法子模块如何连接的最后得到结果的。看一些卡尔曼滤波书籍，看看里面的一些工程实践。端到端就比较简单了，看看论文，对DL了解一些就够了。我了解的比较少，群里有很多专家，抛砖引玉了

5.毫米波雷达在旋转的时候，检测到的radar 点发生漂移，这是为啥？那如果出现这个现象，该如何解决呢，做补偿吗，我看有些说用imu提供的信息来解决，想问下各位大佬该如何利用这个信息，用哪个信息来解决这个旋转漂移，非常感谢

答：你说的这个问题可能是自车在十字路口或者大曲率转弯的一个横向位置漂移问题。一般毫米波雷达实际使用时是要输入车身can信息（如，车速，yaw_rate等）的补偿后，进行目标速度初始化和跟踪过程，这样可以获得对大地的位置和速度信息。你如果直接获取毫米波雷达的输出就会有这类问题，这时候需要引入自车的速度和yaw rate 信息进行补偿，可以先尝试简单的横曲率转弯的运动学模型试试效果。

6.4D毫米波雷达和相机融合的检测方案有什么推荐吗？

答：之前lidar和相机怎么融合都可以看看哇，在bev/ range-view等等。主要点云稀疏特性如何解决以及速度如何利用起来。

7.各位大佬，有关于毫米波雷达测距在工业领域的实际落地应用或者是工业复杂环境中的导航的研究吗？

答：实际落地很少能有论文工作放出来，业内行车和泊车都有成熟的量产方案了，centerfusion也可以重点关注下

8.请问毫米波雷达目前有哪些主流的过滤方法（除了根据距离筛选以及动静态的方法过滤）

答：snr比较低的雷达点，会不参与后续运算。某些点可能是由于多重反射造成的，可以过滤掉（根据雷达点速度，位置，角度判断）

9.最近老板叫我做一下毫米波雷达的点云的聚类，我想问一下有什么合适的数据集？

答：radarscenes这个记得有点云级别的标注和id标注，可以看看

10.有关于纯毫米波雷达的目标检测的论文，数据集之类的？

答：可以参考--https://github.com/nacayu/awesome-deeplearning-based-radar-perception

11.传言特斯拉上引入4D毫米波雷达，4D毫米波雷达与视觉前融合提供更多特征信息，准确性更高，如果4D毫米波雷达普及后，这个是不是主流的方向？

答：不好说，4d毫米波雷达主要提升分辨率，解决稀疏问题，可能会替代激光雷达，但是如果激光雷达成本也降下来了，就不好说了！前融合适合科研，量产还是后融合为主，然后逐步可能尝试特征级别融合。

12.大佬们求问一下有没有毫米波雷达点云聚类跟踪的项目，我想跟着项目学习一下，最好是使用了深度学习的

答：你看一下udacity的github作业，里面有跟踪聚类实战，https://github.com/Bee-Mar/Udacity-Sensor-Fusion

13.基于毫米波雷达和视觉融合，对跟踪obstacle做状态更新，有没有相关论文学习或者实战项目学习呢？

答：论文你去谷歌学术或者ieee上搜关键词 现在雷达和视觉后融合或者深度学习融合有很多论文了还有综述，你可以搜搜综述论文，然后找里面合适的看看。项目的话matlab 有个ADAS工具箱（Automated Driving Toolbox） 有视觉和毫米波融合跟踪的demo 你可以看看基本框架。后面我看看有个C++工程等有时间分享一下。B站多目标跟踪课程等都是很好的入门资料。后融合思路基本都差不多，实践主要看项目；论文的创新主要是在滤波器，如JPDA，GM-PHD，PMBM以及相关变种。要多目标后融合跟踪热点是: 随机有限集RFS，扩展目标跟踪。

14.请问一下，毫米波雷达在Slam中的应用相关研究多吗？能否在该方向整理一篇综述？

答：建议看一下周老师整理的关于毫米波雷达的研究很全面，建议收藏，slam方法可以在里面找到。https://github.com/ZHOUYI1023/awesome-radar-perception毫米波雷达有点云数据，SAR成像数据，RDM，RAM图数据等。可以看看链接整理的数据集。不同阶段数据有不同处理方法。

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！