AAAI 2023 | 腾讯提出THMA：创建高精地图标注的腾讯高精地图AI系统

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【计算机视觉】微信技术交流群

作者：Iroh | （已授权 源：知乎）编辑：CVer

https://zhuanlan.zhihu.com/p/607546915

如今，自动驾驶汽车技术日趋成熟，对于其驾驶安全的需求也越来越高，高精地图（HD Map）是一种使用激光传感器采集的厘米级地图，可为自动驾驶系统提供车辆周围静态环境信息的精确描述，但是标注高精地图需要消耗大量的人力资源。为了减轻人工标注的负担，国内的图商近期已经开始部署人工智能算法来对高精地图进行预标注。今天向大家介绍的就是这个领域最新公开的一篇文献，作者来自工业界，是腾讯地图高精地图团队，他们站在业界的角度介绍了高精地图赛道自动标注技术已被部署的计算机视觉算法和潜在的研究方向，论文已经被AAAI / IAAI 2023接收，并获得IAAI-23 人工智能应用创新奖。

论文标题、作者信息：

收录会议：AAAI 2023 / IAAI 2023

论文链接：https://arxiv.org/abs/2212.11123

引用：Tang, Kun, et al. "THMA: Tencent HD Map AI System for Creating HD Map Annotations." Proceedings of the AAAI Conference on Artificial Intelligence. 2023.

在本文中，腾讯地图高精地图团队介绍了高精地图的发展历史，传统人工标注流程以及高精地图包含的交通信息标注。相比传统地图，高精地图可以为自动驾驶提供永久性的道路元素信息，例如带注释的3D车道类型，车道线类别等，与实时道路图像相比，高清地图为自动驾驶车辆提供离线厘米级定位服务和重要的交通场景先验知识，以避免自动驾驶系统运行时的环境干扰。

高精地图自动化制作过程包含四个步骤：数据收集、后端自动化、地图制作和地图检验、地图编译和地图发布。数据收集来自采集车上的传感器：GPS、IMU、LiDAR和摄像头。GPS和IMU提供精确的轨迹定位。LiDAR是高精地图最重要的传感器，可收集厘米级精度的物体位置信息，摄像头则用于采集RGB图像，用于标记高精地图数据的属性。传感器采集的原始点云和图像数据被传输到点云融合和自动标注系统，由人工智能和计算机视觉分析技术组成，用于点云和图像的预标记。随后，点云和预标记数据由人工验证，编译后进行发布。

腾讯的THMA系统主架构可以被理解为分而治之的AI算法处理，它可以识别 3D 多扫描融合点云、2.5D BEV 图像和 RGB 图像中的物体。3D 检测算法自动标记多扫描融合点云中的 3D 点（用于交通信号灯、电线杆、隧道和交通标志）和线（用于障碍物和路缘石）。2.5D 分割算法检测多通道 BEV 图像上的车道标记等地面元素。二维分割算法检测其他属性，例如 RGB 图像中的车道标记颜色。所有生成的注释都被合并到最终的高精地图产品中。

图1：THMA具有模块化的结构，旨在应对高密度城市环境中标注大量高精地图信息的挑战。

图2：分而治之的多模态多任务处理方案

1. 蒸馏学习解决点云分割问题

THMA为 3D 点云分割识别构建了双训练路径。路径一是基于3D CNN的3D物体检测的基准模型，包括点特征提取模块、点到体素转换模块、编码器-解码器模型等。基准模型生成的细化Ground Truth与原始Ground Truth相结合， 然后用作路径二的监督目标。

2. 自监督、弱监督学习利用海量未标注的3D点云、BEV数据

由于需要构建一个数万公里道路场景的高精度地图，其中包含各种复杂的场景。为了提高模型的泛化能力，THMA使用流行的自监督训练方法，例如Contrastive Learning和Masked Learning，从超过 200,000 公里的点云数据中生成了数百万张 BEV 图像来训练我们的自监督网络。其基本结构是和Masked Autoencoder相似的深度编码器和轻量级解码器。对于Masked Learning任务，未被掩蔽的patch序列输入编码器，有解码器处理可学习的已屏蔽标记以进行BEV图像修复。

3. 主动学习提高高精地图生产收益

相较于传统的HD Map制作流程，THMA 系统引入了端到端主动学习 AI 系统。使用有限的人工标记数据预训练模型，然后借助模型生成剩余数据的伪标注，由人工进行验证筛选，更新后的数据由模型重新训练，通过多次循环实现端到端主动学习。

总结

腾讯的THMA从2021年开始部署，功能强大，每天可以生成30,000公里的高精地图，服务于1000多名地图数据标注技术员。它相当高效，可以完成高精地图标注90%的工作量，与纯人工标记相比，系统速度提高了 10 倍以上。THMA是迄今为止世界上最大的自动驾驶相关数据自动化标注系统之一。核心算法通过主动学习，已经基本实现了全自动标记和迭代化重复更新，与现有的手动标注技术相比，节省了大量时间和成本。

在未来的工作中，THMA计划将现有的集中于道路要素检测的系统扩展到更复杂的3D场景标记，进而重建现实世界的不同场景。同时将利用主动学习迭代和增量开发来进一步提高模型的稳定性和泛化能力。

以上内容为论文的简要介绍，详细内容请参考原文。

点击进入—>CV微信技术交流群

CVPR/ECCV 2022论文和代码下载

后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集

后台回复：ECCV2022，即可下载ECCV 2022论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看