4D数据标注——推动自动驾驶迈向新高度

自动驾驶核心三要素由“感知”、“决策”与“执行”构成。

其中感知系统是自动驾驶技术中的关键组成部分，其主要任务是通过多传感器与算法对周围环境进行精确感知与理解，相当于人的眼睛。

早期自动驾驶感知技术多基于2D感知，即2D图像数据。通过在图像中标注车辆、行人、交通标志等目标，输出图像空间中的检测和分割结果。

由于2D感知无法提供距离和深度信息，且无法反映场景的真实结构，导致系统在某些复杂环境下的表现不尽如人意，因此包含更多信息内容的3D点云数据应运而生。

3D点云数据是通过一定的测量手段直接或间接采集的，且符合测量规则能够刻画目标表面特性的密集点集合，是继矢量、影像后的第三类空间数据，为刻画三维现实世界提供了最直接和有效的表达方式。

然而，自动驾驶车辆在实际行驶过程中，周围环境往往是具有时序的，3D数据仅提供了静态的空间信息，无法反映动态变化，因此包含时序内容的4D标注开始出现，并得到大范围应用。

4D标注概念与优势

简单来说，4D标注即是在3D的基础上加入时序信息，形成一个四维的标注系统，为感知提供真值数据。

4D标注不仅标注3D空间中的静态目标，还标注了具有时序信息的动态目标。这种方式既可以记录物体在时间轴上的运动和变化，也可以更全面地描述物体的运动轨迹、形态变化以及与环境之间的互动关系。

相较于2D以及3D标注，4D标注具备如下优势：

1. 4D标注可以准确呈现物体的动态运动轨迹，捕捉物体在不同时间点的状态。

2. 为行车和泊车感知任务提供训练和评测的真值，例如分割、freespace、库位检测和3D跟踪等。

3. 相较于2D以及3D数据，4D数据包含运动轨迹、姿态变化等信息，可以实现毫米级的精度，确保数据的准确性。

曼孚科技4D数据标注工具

工欲善其事，必先利其器。

相较于2D、3D标注类型，4D数据包含内容更多，点云体量更大，对标注平台承载能力与数据处理效率提出了更高的要求。

目前，曼孚科技SEED平台已全面支持4D数据处理与量产，包括不限于4D点云车道线、4D点云分割等。

曼孚科技SEED平台在4D数据处理方面具备如下优势：

1、大点云数据处理能力

4D点云数据一个主要特征就是点云体量庞大，通常单帧点云点数量可达百万级，乃至千万级，对平台承载能力以及加载能力提出了更高的要求。

针对此种情况，曼孚科技自研分层采样技术，在4D点云车道线场景下，浏览整体任务时可查看车道线大致情况，放大画布后则显示原始点云，兼顾性能与标注效率。目前平台可支持单帧上亿点云点，整体上百帧数据流畅运行。

2、强度/高度渲染

标注过程中往往会根据点云强度区分不同物体，由于不同帧所包含的场景内容存在差异，切换任务时，可选择强度/高度渲染，能在复杂的点云数据中有效提取不同目标的特征信息，同时支持依据点云强度进行显示与隐藏，便于更直观查看点云数据，提升标注效率。

3、抬平视角

平台支持抬平视角，可以从整体角度查看任务的坡度情况。

4、动态物去除

4D车道线或其他静态障碍物场景，平台支持在数据处理过程中去除点云中的动态障碍物，减少对标注的影响。

5、AI算法自动标注

针对平坦地面且存在较多杂点的标注场景，平台内置AI算法自动计算地线高度。

6、聚光灯局部显示

4D数据项目中，经常需要对特定点云区域进行精细调整。由于整体场景较为复杂，不同视角下进行查看，都会有其余点云造成干扰。聚光灯功能可以任意截取部分数据突出显示，既可以侧面展示，也可以BEV视角展示，更方便对局部内容进行观察。

除上述功能以外，平台还支持4D点云场景下的在线合并/拆分帧、投影点显示、拓扑关系等数十项创新功能，针对不同场景优化标注工具，提升标注效率。

目前，曼孚科技在自动驾驶数据标注领域已与数百家企业达成深度合作。用户包括头部主机厂、造车新势力、一线科技公司、主流算法公司以及世界顶级Tier1厂商等，在4D数据标注领域积累了丰富的执行交付经验，助力自动驾驶早日实现规模商用落地。