如何实现“轻高精地图”的城市NOH？毫末自动驾驶的8大亮点

4月19日，毫末的AI DAY,我没顾上看直播，本来打算会后只发一则“简单的小新闻”，结果呢，一看顾维灏的演讲特别“硬核”，很值得认真读一下。在这次发布会的前后一周，毫末技术总监潘兴也有一次与媒体的沟通，并在分享结束后接受了媒体群访，从演讲到访谈同样是干货满满。

我在朋友圈简单地说评论了几句后，竟然有不少人私信问我“演讲稿在哪里可以看到”。为响应广大读者的需求，我决定将这些干货消化之后，梳理出一些精华发出。本文涵盖的内容包括：

1）毫末的数据智能体系MANA

2）Transformer，发挥数据优势的关键武器

3）在轻高精地图的情况下实现城市道路自动驾驶

4）在决策环节引入深度学习算法

5）L2车辆的收集到的数据如何用于L4

6）可否将各场景的数据“打通”

7）从用户视角对ADAS能力做“分级”

8）开放的商业模式

在写这篇文章的过程中，我多次向毫末市场部的谢海杰请教，也参考并引用了车右智能在去年12月发的文章《毫末智行的感知架构在演进中——Transformer在毫末的应用》及焉知新能源在今年3月份的文章《我们研究了特斯拉、毫末「自动驾驶算法」的秘密》中的大量内容，在此向这两篇文章的作者表示感谢。

一．数据智能体系MANA

01

基本概念

2021年Q4，毫末智行发布了自动驾驶数据智能体系MANA。MANA是毫末以海量数据为基础的一整套数据处理工具，包含了数据标注、算法模型、测试验证系统、仿真模拟工具以及计算硬件。MANA是毫末所有产品进化的核心动力。

MANA体系由TARS、LUCAS、VENUS、BASE四个子系统组成。

其中，TARS是毫末在车端研发的算法原型，包括TrasView（感知），TrasGo（认知），规划决策控制、Map（地图定位），Meta（仿真引擎），更多为车端算法服务。

LUCAS是对算法在应用场景上的实践，包括高性能计算、诊断、验证、转化等核心能力；VENUS是数据可视化化系统，包括软件和算法的执行情况，对场景的还原，以及数据洞察等能力；BASE包括了数据的获取，传输，存储，计算，以及新的数据分析和数据服务。

MANA 感知系统的特点在于 “为全局任务设计了一个提取全局信息的 Neck 网络”。这一点其实是非常重要的，因为全局任务（比如可行驶道路的检测）非常依赖于对场景的理解，而对场景的理解又依赖于对全局信息的提取。

截止目前，MANA已完成超过19万小时的学习时长，其虚拟驾龄已相当于人类司机2万年的驾龄。

02

MANA典型应用

（1）数据标注

数据标注在数据处理的成本中占比极高，因而，通过提高自动化水平来降低标注成本也是各家公司努力的方向，目前，毫末的数据标注自动化水平已经达到了80%。在实现方法上，毫末通过“目标粗定位”和“属性精细估计”两个阶段来进行。

“目标粗定位”阶段的第一个分支采用了高精度3D障碍物检测网络和3D障碍物跟踪算法，对3D目标进行检测和跟踪；第二个分支采用了时空金字塔网络内部的2D空间卷积和1D时间卷积，对3D目标的运动属性进行检测，然后系统再将这两个分支检测的结果进行聚合和分类。

“属性精细估计”阶段会根据物体运动状态分类结果来区分静态物体和动态物体，对不同类型的物体有不同的属性精细估计策略。

静态障碍物的标注相对来说会简单一些，而动态障碍物的标注，除了标静态障碍物必须有的属性，也需要对动态障碍物特有的一些关键属性，比如朝向角、运动姿态、速度等也会再进行详细的标注。

对于动态物体的属性精细估计，包括物体尺寸估计和位姿估计，这也是自动标注的重点和难点。

对此，毫末的做法是：

1）在自车和目标物相对运动的过程中，系统从多角度、多维度对目标物进行观测，然后，有效利用多帧点云提供的时序信息对障碍物进行运动检测；

2）再采用以目标为中心的跨时间点云聚合方法，对这些点云做一次压缩，让其从稀疏点云变成稠密的点云；

3）点云压缩后，利用改进的PointNet网络进行精确的3D框回归，再次对物体的运动轨迹进行全局优化实现位姿的精确估计。

目前，这一套方法已经进入毫末的生产环节。

（2）数据存储

数据存储方面，目前的难点主要有两个：如何降低成本；如何结合自动驾驶的特性进行更好地处理。

为降低存储成本，毫末搭建了数据挖掘的体系LUCAS，该体系从用户回传的海量数据中筛选出价值的数据，然后把这些数据该送标的送标、该训练的训练、该使用的使用、该缓存的缓存。

对这些数据，毫末会按其价值做分级管理——主要是根据数据的新鲜度、需求紧急程度、数据用途等维度，对数据划分热度级别。

比如，对于几个月之前的数据，毫末会对其进行编码并存储在数据库中，而原始数据则存储在成本更低的地方。

比如，毫末会根据自动驾驶对数据的使用需求，对数据进行分类，比如事故类、售后类、接管类、体感类、产品类、研发类等。由于需求不同，不同类别的数据生命周期、实效要求、处理流程、处理成本均不同，会采取不同的策略进行存储。

自动化的筛选手段再加上分级存储策略，数据的存储成本自然会降低。

（3）数据融合

为做好视觉和激光雷达数据的融合，毫末将 Transformer 算法引入到其数据智能体系 MANA 中。

2021年12月，顾维灏在毫末AI DAY 上的介绍，MANA 系统采用 Transformer 在底层融合视觉和激光雷达数据，进而实现空间、时间、传感器三位一体的深层次感知。

不同于目标级的后融合，毫末使用Transformer对图片、点云提取出来的特征向量进行前融合，融合后再通过神经网络进行目标预测。这样既可以解