感知融合算法学习1

毫米波雷达

一般厂商会将滤波类的检测算法集成到传感器内部，可以直接输出二维图像的坐标，这种方式对用户来说，比较好集成。但也很难解决滤波算法带来的虚警问题。

利用毫米波雷达原始点云数据的检测算法。和图像融合。

利用毫米波雷达数据的时序，利用相邻帧之间的时序信息，提高准确率和召回率。

激光雷达

VoxelNet  voxel grid + 体素特征提取VFE ,避免手工特征生成。

Sencond 在VoxelNet基础上引入稀疏3D卷积

PointPillar速度快，VFE 变成PFE

CenterPoint 没有设计anchor，3D bouding box通过2个步骤完成：首先基于高斯半径生成中心点的heatmap，其次通过回归头将3D bbox的尺寸和航向角回归出来。很多性能好的benchmak都是基于centerpoint改造而来。

 

F-PointNet

1. 基于图像2D目标检测。

2. 基于图像生成锥体区域。

3. 在锥体内，使用 PointNet/PointNet++ 网络进行点云实例分割。

它是在进行点云处理之前，先使用图像信息得到一些先验搜索范围，这样既能提高效率，又能增加准确率。先把图像和点云信息标定好（这个属于传感器的外参标定，在感知之前进行；获取两个传感器之间旋转矩阵和平移向量）

远处漏检的目标必须有点打在上面。       

受到串行结构的影响，F-PointNet中3d box estimation的结果严重依赖于2d detection，并且RGB信息对整个结构是至关重要的。然而，图像受到光照以及前后遮挡的影响，会导致2d detector出现漏检的情况

 

验证时空同步标定：定性（查看典型标志物点云和图像的重合投，即影结果）和定量（计算重投影误差）

Deep Fusion

inverse 数据增强

纵目科技泊车感知

毫米波雷达 超声波 鱼眼相机三维重建 bev感知

200万前向摄像头、4路100万的环视摄像头、3个毫米波雷达、12超声波雷达

J2 TDA4VL

数据平台：数据管理系统、自动化标注系统、模型训练、自动化验证。

SLAM算法

单目深度估计：应用在环视鱼眼摄像头上

环视摄像头半稠密三维重建

3D目标检测

SOC

• 低于30TOPS分界线为低算力SoC；
• 高于100TOPS的为高算力SoC；
• 介于30-100TOPS之间则为中算力SoC。

高算力SoC仅有英伟达的Orin系列/Xavier系列、Tesla的FSD（HW3.0/4.0）、地平线的J5系列和华为的昇腾610系列，这四家占据了98%以上的市场份额，其中Tesla占比超过60%，其采取的硬件预埋策略贡献很大；

Orin X和J5是2023年少有的大规模量产出货的超百TOPS的芯片。

BEV+Transformer新范式算法逐步替代CNN，百TOPS某种程度上已成为城市/高速NOA的基础AI算力门槛

英伟达的旗舰芯片Orin X成为最大受益者，例如蔚来新车型全系搭载4颗Orin X芯片，小鹏G9和X9搭载2颗Orin X，理想AD Max智驾也是基于Orin X打造

        在2022年128 TOPS的J5随理想L8 Pro首发量产后，今年初J5在比亚迪汉EV车型上实现量产交付。

除了Tesla、华为等全栈自研的车企/Tier 0.5之外，国内高算力市场基本被英伟达和地平线瓜分

在中算力SoC方面，TI TDA4 VH是一个标杆级的存在，AI算力有32 TOPS。行泊一体。

英伟达则顺势推出了Orin X的裁剪版Orin N，采取从上往下打的策略，力争在中算力市场分一杯羹。

至于低算力SoC，竞争异常惨烈，这个市场本身有Mobileye和瑞萨两大巨头，芯片和方案都很成熟，基于与传统Tier 1深度合作模式，市占率极高。

考虑到该市场体量巨大，TI和地平线也推出了对应的产品参与竞争，TI祭出的是TDA4 VL和TDA4 VM，地平线则依靠J2和J3。

全栈式自研：华为、特斯拉、Mobileye

Tesla自从放弃Mobileye和NVIDIA平台后，一直坚持自研智驾芯片，相继推出了HW3.0和HW4.0， 算力从3.0的144 TOPS升级到4.0的300 - 500 TOPS，全栈自研的优势之一就是可以针对自家芯片进行深度优化，同时裁剪掉不必要的硬件需求，打造真正高效的软硬一体化，类似于消费电子领域的Apple。

车端侧，华为共有两款智驾芯片，分别是昇腾310和610，对应算力为16 TOPS和160 TOPS（稠密算力），基于昇腾310的域控有MDC210（单颗）和MDC300（两颗）。

百度安全验证