迈微AI研习社 · 号主

专门自动驾驶行业研发相关从业人员；了解自动驾驶感知算法，成为算法工程师；转行？你就得看看这个。

主要从激光雷达的工作原理开始，介绍点云数据分析方法，讲解点云相关处理操作，介绍激光点云感知综述，相关点云深度学习处理方法。最终，以自动驾驶点云感知为实例，分析点云感知，以一个实操案例介绍过程。

自动驾驶车载相机选型、相机成像原理ISP处理，基本图像处理、图像变换、实际案例

摄像机校准一般采用小孔成像模型，理想的小孔模型是线性模型，但是由于存在镜头畸变等原因，线性模型通常要加上一些内部参数，变成非线性模型。本文对产生这一现象的原理以及解决方法进行整理。镜头畸变现象及其校正方法一、镜头畸变现象介绍1. 径向畸变2. 切向畸变二、物象坐标映射转换三、相机校正1. 准备标定图片2.对每一张标定图片，提取角点信息3. 对每一张标定图片，进一步提取亚像素角点信息3.1 cornerSubPix函数原型：3.2 find4QuadCornerSubpix函数原型：4. 在棋盘标定图上绘制

与雷达工作原理类似，激光雷达通过测量激光信号的时间差和相位差来确定 ... 激光雷达主要包括激光发射、扫描系统、激光接收和信息处理四大系统，这四 ...

在自动驾驶系统中的位置，上下游解决什么问题实现方案。

本节我们先从广泛应用于自动驾驶的几个任务出发介绍2D视觉感知算法，包括基于图像或视频的2D目标检测和跟踪，以及2D场景的语义分割。

自动驾驶感知算法实战第四篇——语义分割网络详解（DeepLabV3、FCN、UNet等）

自动驾驶感知算法实战专栏第四篇——目标检测网络详解，两阶段、单阶段网络分析

自动驾驶感知算法实战专栏第五篇——MMdetection3d环境搭建、使用MMdetection3d做3D目标检测训练自己的数据集、测试、可视化，以及常见的错误

多种目标分类网络介绍，自动驾驶感知分类任务。

自动驾驶主流的多传感器融合感知方案，前融合、后融合。甚至轻舟的超融合。

BEV模型在自动驾驶中的兴起主要是从模型端统一了感知和下游决策规划的几何空间。自动驾驶的运动场景基本是在一个平面，在BEV下规划出的可通行轨迹在3D空间里也是可通行的。

未来发展方向：多模态、多任务、大模型、海量数据驱动，平台级别、系统级开发平台

详细介绍自动驾驶感知算法模型生产流水线

纯视觉方案、多传感器融合方案？孰是最终英雄？

难点是：视觉数据和激光雷达的点云是异构数据，视觉是2D图像，激光雷达点云是3D空间，因此需要考虑空间标定和时间的同步，对算力有极高的要求。后融合则是传感器各自对目标进行识别，通过深度学习理解后输出结果，在决策层进行融合，好处是硬件与软件解耦，算法部署更简单。与其他中融合方案的不同之处在于，轻舟提出了时序多模态特征融合的大模型OmniNet，通过一个神经网络即可实现视觉、激光雷达、毫米波雷达在BEV空间和图像空间上输出多任务结果。多传感器的融合方案，目前行业主流的方式包括：前融合、中融合和后融合。