毫米波雷达和视觉融合感知全栈教程（深度学习+传统方式）

为什么要做传感器融合？

自动驾驶是当今科技行业中的最热门话题之一，随着技术的不断进步，自动驾驶汽车将逐渐成为主流，而多传感器融合技术是实现自动驾驶技术的关键。单一传感器在应用上存在一定的局限性，比如在天气恶劣或环境复杂时，传感器的效果会受到极大影响。为了克服这些局限性，多传感器融合技术应运而生！多传感器融合技术将多个传感器的数据进行整合和处理，形成更为全面、准确的感知结果。

近些年来，多传感器融合的方案在各类顶级会议中逐渐受到关注，并且随着BEV感知方法的提出，给予了融合算法以更高的自由度，也就自然地成为了感知算法研究的热点之一。在工业界，多传感器融合技术已经得到了广泛的应用，Uber和Waymo等公司也在自动驾驶技术中采用了多传感器融合技术，随着未来技术的进一步发展，多传感器融合技术将得到更为广泛的应用，成为自动驾驶技术的重要推动力量。

毫米波雷达和相机融合是传感器融合方案中非常受欢迎的方法，也是目前落地最多的方案！相机很容易受到光照不足或恶劣天气条件的影响，仅用相机检测三维物体无法提供准确的距离信息。毫米波雷达可以提供精确的距离信息、速度信息以及其它信息并且可以全天候地运行，但是稀疏性和噪声等致使雷达无法作为主要信息来源。综合来说，相机具有良好的分辨率和分类能力，雷达拥有准确的目标距离和速度等测量能力和对恶劣天气的鲁棒性，通过融合雷达和相机传感器能够充分发挥两者互补关系，从而在整体上提升感知能力。

雷达和相机融合具有多种融合方式。一方面，学术界流行的前融合方法，随着BEV方法的引入，给融合带来了新的契机和卷论文的方向，具有非常广阔的研究前景，但是对雷达原理和传统检测方法的认知会限制我们进一步的优化。另一方面，工业界常用的后融合方法目前资源较少，同时与前融合领域内容相差较大不易入门。一门能够兼具前、后融合内容的课程对于大家入门多传感器融合具有非常重要的意义！能够帮助许多初学者快速入门，少走弯路。自动驾驶之心团队在深入调研毫米波视觉融合常用方法后，从数据处理、聚类、跟踪匹配、深度学习点云方案、2D/3D融合等多个方向展开讲解，是一门同时面向工业界和学术界的教程！

课程大纲

主讲老师

Naca，自动驾驶之心团队成员，专注于毫米波雷达和相机融合的目标检测和场景感知 ！

本课程适合人群

1. 计算机视觉与自动驾驶感知相关研究方向的本科/硕士；

2. 自动驾驶2D/3D感知相关算法工程人员；

3. 想要转入多传感器融合检测方向的同学；

需要具备的基础

1. 具有一定的Python、PyTorch、C++基础；

2. 对BEV感知算法、传统的滤波和优化算法有一定的了解；

3. 电脑需要自带GPU（显存至少10GB）

学后收获

1. 对传统毫米波算法及数据处理有着深入了解；

2. 熟练掌握常用毫米波雷达深度学习方法；

3. 对毫米波视觉2D融合和3D融合方案有着较深了解，熟悉设计方法与思路；

4. 对多传感器融合任务有深入了解，能够掌握工业界常用设计方法，搭建自己的工程；

开课时间

2023.6.5号正式开课，为期两个月，全程录播，随到随学，讲师交流群内答疑！

欢迎咨询

扫码学习课程

扫码添加汽车人助理咨询课程！

(微信：AIDriver004)