「百万级」仿真场景库积累，为智驾研发「降本增效」

上期内容《绝佳视角｜「照片级」感知重建，让智驾摆脱路测数据采集依赖》曾提到，驾驶场景无限丰富，无法被穷举、预测。自动驾驶仿真数据具有更高效、可复现、复杂场景展示等优势，可以作为自动驾驶路测数据的补充，帮助解决长尾场景的问题。

仿真测试同样是智能驾驶决策算法体系迭代中必不可少的一环。仿真测试的关键——场景生成和智能仿真技术，能够帮助场景数据库的大规模生成，赋能智驾决策算法迭代。绝影的自动化智驾决策算法迭代体系，主要利用仿真测试协同路测完成算法的测试与评价，从而推动决策算法的迭代。

仿真体系由仿真场景体系及智能仿真系统组成。前者包含海量场景，需要保障测试的场景近乎真实且全面，后者则是保障在虚拟环境中能提供与真实路测高度一致的场景播放与测试。

智能驾驶算法迭代体系示意图

仿真场景体系

目前业界普遍认为，仿真测试场景根据来源大体可以分为真实场景与合成场景。前者主要通过路测采集交通流数据的方式，获得真实数据组成的测试场景；后者以德国 PEGASUS 项目提出的功能场景-逻辑场景-具体场景三层体系为基础，设计不同的场景类型、指定关键参数并计算其分布和范围，最后选取一组参数取值作为一个测试场景。

PEGASUS 功能场景-逻辑场景-具体场景三层体系示意图

第一种方案，无法解决重放时交通参与者间的交互问题，场景有效性低；而第二种方案中，场景参数的制定会受主观判断影响，无法保证场景的真实性。

绝影仿真团队参考 PEGASUS 三层体系的结构，通过「路测数据智能化处理技术」和「场景生成与应用体系」相结合的方式，打造了全自动场景挖掘与场景生成数据体系，保证了场景库的覆盖率、真实性和有效性，目前已形成了百万级数据的仿真场景库。

• 路测数据智能化处理：LogXMining 场景挖掘工具链

LogXMining 场景挖掘标注工具链，具有自动化场景数据挖掘和六维功能场景的标注能力，可在路测数据中挖掘出海量真实且有效的场景数据，极大地提高了路测数据的有效利用率，相当于节省了超过 6 倍的路测成本。

LogXMining 场景挖掘示意图

价值场景的自动化挖掘与归类是路测数据智能化处理的关键，要求算法能从真实路测的复杂交通流中理解场景的语义信息。LogXMining 通过关键交通参与者筛选算法，根据主车规划轨迹和他车预测轨迹逐帧计算关键性，简化降维复杂路测场景，从而实现自动化场景挖掘，并按功能场景定义对场景进行归类整理。当前系统已覆盖了 500 多类功能场景，为智驾决策算法的迭代测试提供了大量真实的场景数据。

复杂场景的关键交通参与者筛选 

• 场景生成与应用体系：让真实路测数据和仿真数据有机结合

场景生成与应用体系的价值在于为决策算法生产更多更全的关键仿真场景，尤其是难以在物理世界捕捉到的长尾场景。我们将目前业界主流的基于真实数据和合成数据的两种场景测试方案进行了渗透结合，形成包含自动场景生成与路测场景泛化的综合技术体系。

（1）自动场景生成

自动场景生成的难点主要在于：

1.   生成场景的真实性

2.  生成场景的有效性，即期望的交互类型能够在生成场景中实现

3.  如何在高维的场景参数空间中高效搜索出有价值的测试场景

自动场景生成的主要难点

为此，我们为每类场景定义了动作序列以及触发条件，用以描述不同的场景交互类型，并将真实场景数据转化为标准格式化数据，提取真实场景中的关键参数并计算其分布，再基于其他交通参与者对智驾车辆的可行驶轨迹的影响构建场景评价指标，结合最优化理论，搜索关键场景。

目前的自动场景生成体系覆盖式地列举了 200 余种智驾车辆与交通参与者之间的交互行为类别，已覆盖 90% 以上的道路测试场景，利用真实的路测数据生成主车行驶路径与静态地图切片 5000 多条，自动化地生成、积累超过 100 万个有效场景片段。

全覆盖关键场景生成

（2）路测场景泛化

LogSim 路测场景泛化可以基于现实世界路测数据进行场景回放，并通过场景复现帮助开发者进行回归验证和算法优化。由于 LogSim 场景是真实路测数据的回放，所以主车周边交通参与者的行为是基于路测时交互发生的。如若仿真回放时主车行为发生变化，则会与仿真环境中其他交通参与者产生不合理交互。

因此，我们对路测的交通流进行了干预重建，在LogSim中进行碰撞预警及事故责任认定，将认定为主要碰撞责任的环境车辆切换为智能体模式，从而实现基于真实路测数据的有效回归验证。
 

 

点击视频查看：LOGSIM 场景泛化示意

如图所示，中间示例视频为路测时公交车在拥挤交通流下起步切入主车车道的场景，环境车辆由仿真智能体接管后，对低速行驶的主车采取了绕行避让的行为。左右两边是对该场景进行泛化的相似场景。该模块借助驾驶智能体和轨迹泛化技术，为原始 LogSim 提供了泛化生成能力，从而对各类失效场景进行数量扩充，以此保证了在场景真实有效的前提下，提升场景覆盖度。

基于场景挖掘与场景生成数据体系，绝影仿真团队积累了百万级真实有效的测试场景库。这些场景在智能仿真系统的仿真过程中，可以精准定位自动驾驶决策算法存在的问题，帮助决策算法快速迭代。

智能仿真系统

仿真引擎是智能仿真系统运行的核心，它维护了主车视角下的仿真世界。主车信息（AD车辆动力学状态）主要通过仿真引擎维护；包括环境车辆和VRU（行人、非机动车）在内的交通流信息主要通过交通流引擎获取。

智能仿真系统交互示意图

仿真系统启动后，自动驾驶模块将控制和地图信息传输给仿真引擎，仿真引擎将定位和感知信息传输给自动驾驶模块，以此构成仿真引擎和自动驾驶模块的协同运行。仿真运行结束后，仿真评测模块负责评测智驾决策算法，从多个维度全面检测仿真过程中主车行为是否达到预期。

在传统仿真系统基础上，绝影智能仿真系统增加了多驾驶风格智能体、故障注入、数据驱动安全员模型智能模块，以丰富车辆驾驶行为，让车辆驾驶行为的交互更接近真实道路交通情况。

驾驶智能体设计框架示意图

• 多驾驶风格智能体

在仿真运行过程中，环境车辆行为的多样性、交互性、真实性是确保仿真有效的关键，即仿真中环境车辆的行为要尽量接近真实世界的车辆行为，这也是目前市场上很多仿真软件的弱势，如Sumo、 VISSIM等仿真软件主要针对粗粒度的交通流仿真，在车辆横向动力学仿真上不够精细，Prescan、Carsim等针对动力学的仿真软件对于交通流和车辆间的交互仿真能力较弱，另有CARLA、lgsvl、Airsim等开源仿真软件借助简化的自动驾驶技术栈来进行车辆仿真，表现出的车辆驾驶意图和行为较为单一。

绝影基于真实交通流数据使用强化学习方法，赋予仿真车辆多驾驶风格的智能体行为，增强车辆驾驶行为的多样性和交互性。同时，结合传统经典模型，保证智能体驾驶行为的安全性和动力学的真实性。

驾驶智能体复杂场景连续仿真示意

点击视频查看：驾驶智能体复杂场景连续仿真示意

如图所示，智能体可以在不同道路拓扑的复杂交通流下与主车进行真实多样的交互，如直行路段，驾驶智能体绕行低速行驶的主车，无保护路口场景下让行路权给主车。

故障注入

故障注入示意

对于自动驾驶算法迭代和能力评测而言，除了仿真测试以外，还需要进行足够的预期功能安全测试，例如在路测当中遇到上游技术栈感知失效、感知盲区失准、定位失准等情况时，自动驾驶模块应具备足够鲁棒的能力以避免危险驾驶行为。

然而，这类情况在路测中极其偶发，会让预期功能安全测试难以充分进行。绝影仿真团队在仿真中提供了针对性故障注入功能，包括：盲区模拟、定位失效注入等，为自动驾驶模块提供足够的功能安全测试。

仿真评测模块示意图

• 数据驱动安全员模型

为了全面评估智能决策算法的能力，仿真评测模块从安全性、效率性、舒适性、交规遵守这四大维度及其下 30 多个子维度对自动驾驶车辆进行评测。实践中，在复杂场景下部分维度的评测十分具有挑战性：例如车辆在复杂交通流场景下是否过低速行驶、是否有效绕行障碍物等问题。在这类场景下，传统的基于规则和阈值的检测器很难对智能决策算法进行准确评测。

为了解决这一难题，我们把安全员模型建模放至仿真评测模块中，模拟真实情况中发生安全员接管的情况，以提升复杂场景下对智能决策算法的评测能力和真实性。同时，通过数据驱动的方法来理解场景语义，把轨迹和道路结构序列化，通过图神经网络对动态轨迹信息与静态地图信息间的交互进行建模，结合挖掘的海量场景数据来训练数据驱动的安全员模型，以此来协助分析，结合场景语义准确地评测智能决策算法。

为助力智驾决策算法的高效迭代，我们已经搭建并走通了基于百万级仿真场景库的智能仿真测试体系。未来将持续以场景的全面性和仿真测试的真实性为关键方向开展进一步的探索。

与此同时，随着仿真技术的发展，未来虚拟仿真将成为实际道路测试前必不可少的环节。绝影仿真团队将致力于打造：云上训练场—AD开放平台。在此「训练场」上，数百辆智驾车辆可以同时行驶在全国任意网联示范区的道路上，遇见现实中常见环境、长尾的道路几何环境、不同拥挤程度的交通状态、各异的驾驶风格等，进而评测智驾算法在不同场景下的性能，挖掘更多更有价值的场景。此外，「训练场」可以针对智驾车辆表现不足的场景生成广泛数据，并依托高效异构的仿真引擎为训练环境，安全员模型给出的评价为监督信息，最终辅助智驾决策算法的训练与迭代。