智驾感知发展趋势

奔袭的算法工程师

已于 2024-01-26 10:36:56 修改

阅读量2.9k

点赞数 2

分类专栏：感知后处理文章标签： transformer 深度学习人工智能目标检测架构

于 2023-04-03 09:46:17 首次发布

本文链接：https://blog.csdn.net/weixin_41691854/article/details/129921659

版权

感知后处理专栏收录该内容

18 篇文章 3 订阅

订阅专栏

1 多传感器融合趋势

多传感器（摄像头、激光雷达、毫米波雷达）感知是自动驾驶的关键技术之一，而现有的单传感器普遍存在自身的缺陷，比如摄像头测距测速误差大，毫米波雷达识别能力弱，激光雷达太贵，因此摄像头和毫米波雷达的融合，取长补短是一个发展趋势。

现有的低阶辅助驾驶，L2和L2+，单传感器基本足够，摄像头和毫米波雷达均能胜任，比如BSD等告警功能。而更高级一些的功能，或者功能安全等级较高的功能，则需要更精准的感知能力，此时，会采取多传感器方案。比如，环视摄像头，多毫米波雷达融合，以及摄像头和毫米波雷达融合等，通过多源信息的融合，提取更精准的感知能力，以支持更高阶的辅助驾驶，比如APA，ALC等。

最近几年，随着国产传感器的逐渐成熟，各类器件的成本显著降低，原先昂贵的多传感器融合方案也开始被接受，感知融合算法逐渐受到重视。现有的摄像头和毫米波雷达融合，可以提供较更好的辅助驾驶体验，同时成本增加有限，具备大规模量产的可能。随着特拉斯打开中国市场，辅助驾驶、智能驾驶越来越被普通消费者接受，国产化浪潮也方兴未艾，各路资本竞相追逐。

至于完全的自动驾驶L5，摄像头和毫米波融合不太够用，必须加上激光雷达，这样成本大幅增加，乘用车难以接受这样的成本。但特种车辆由于造价昂贵，传感器成本占比不大，且工作场景较为简单，成为较理想的应用场景。现有的如无人矿产，港口无人运输货车，已出现示范应用，存在规模化的可能。

个人观点，L2~L3将快速普及，L4开始在部分高端车和部分特定场景开始应用，而L5可能离我们比较遥远。对于商业化而言，L2~L3仍是主流，如果创业公司一开始定位L4和L5，等烧完融资的钱，很可能就玩不下去了。

2 BEV+Transformer的发展趋势

近两年，BEV+Transformer在视觉检测领域炙手可热，大有一统CV检测的趋势。从算法原理来讲，BEV+Transformer将视觉图片转到BEV坐标系下，并使用连续帧编码的方式，获取更丰富的特征信息。因此，这种组合模型体量比较大，需要更多的数据进行训练，也需要更强的AI芯片推理部署，对芯片和数据都提出了更高的要求。

首先是芯片算力，BEV+Transformer的组合算力基本是CNN检测的十倍以上，以周视360°环绕感知6V为例，算力要求从20~30TFLOPS提升到200+TFLOPS。另外需要芯片支持FP16或BF16量化，只是INT8量化，精度不够，不能满足算法精度要求。

大模型需大数据，BEV+Transformer的组合需要海量数据，并且对数据重新标注训练，标注成本、训练成本都大幅增加，导致研发成本大增，最后需要消费者买单。

除了算力，内存带宽的要求也非常高，因为引入时序的数据量大，需要更大的内存带宽，基本也是10倍以上，目前的芯片是不满足要求的。

为了能让BEV+Transformer落地，则需要多方面提升，除了提升芯片算力、内存带宽，还要考虑矩阵单元设计、算子、底层优化、模型优化等。

比如模型优化，考虑使用轻量化模型，如FastBEV、SimpleBEV；另外，芯片端提供高效匹配的算子，提升运算效率等，都可以帮助算法尽快落地。

BEV+Transformer的优势是识别准、精度高，方便和激光、毫米波做前融合，但即使有众多优点，也存在明显短板——仍无法准确感知远处环境和目标，这对于智能驾驶来说，或许并非最终的解决方法。

通过一些方法可以弥补远处感知能力弱的问题，比如前视单目使用CNN，获取远处的感知，再和BEV+Transformer的结果融合；再比如前视叠加4D雷达（特斯拉方案），同时提供近处冗余和远处障碍物感知能力，来补足BEV+Transformer的短板。

综合上述现状来看，现在大火的重感知、轻地图模式其实仍存在明显的缺陷——看不远。这个问题目前没有完美的解决方案，不管特斯拉和蔚小理们吹得多牛，现阶段的智能驾驶还只是过渡方案，无法提供足够安全的驾驶能力，所以一定要握紧方向盘，对自己的安全负责。