30个够么！自动驾驶仿真框架&模拟器汇总

作者 | eyesighting  编辑 | 汽车人

原文链接：https://zhuanlan.zhihu.com/p/674193516

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【仿真测试】技术交流群

本文只做学术分享，如有侵权，联系删文

前言

好多年以来自动驾驶仿真基本上采用传统的仿真软件，很多年车企都完成了工具和方法闭环，不过应用范围仅限于主动安全功能，对于高阶/L3/L4/NOP/NOA功能应用较少。

最近几年的自动驾驶仿真出现了世界模型/强化学习/NeRF/扩散模型/LLM/Agent等新型技术，越来越多的供应商开始基于这些新技术、逐渐摆脱传统仿真软件，开发新兴的自动驾驶仿真框架&模拟器，为仿真带来了新的机遇。

本文汇总了传统仿真软件、新型仿真框架，以及仿真平台、光学仿真、仿真引擎，可作为学习、研究、开发的参考资料。

1.仿真引擎

Unity

Unity是由Unity Technologies开发的跨平台 游戏引擎，于 2005 年 6 月在Apple 全球开发者大会上作为Mac OS X游戏引擎首次宣布并发布。此后该引擎逐渐扩展到支持各种桌面、移动、控制台和虚拟现实平台。Unity在iOS和Android移动游戏开发中特别受欢迎，被认为对于初学者开发人员来说易于使用，并且在独立游戏开发中很受欢迎。该引擎可用于创建三维（3D）和二维（2D）游戏，以及交互式模拟和其他体验。

Unity 主页：https://unity.com/cn

Unity Doc：https://docs.unity.com/

Unity API：https://docs.unity3d.com/ScriptReference/

Unity Man：https://docs.unity3d.com/Manual/index.html

Unity 代码：https://github.com/Unity-Technologies

Unity Wiki：https://en.wikipedia.org/wiki/Unity_(game_engine)

UnityTechnologies Wiki：https://en.wikipedia.org/wiki/Unity_Technologies

UnrealEngine

Unreal Engine ( UE ) 是由Epic Games开发的一系列 3D 计算机图形游戏引擎，首次亮相于 1998 年的第一人称射击游戏Unreal。它最初是为PC第一人称射击游戏开发的，后来被用于各种类型的游戏，并被其他行业采用，尤其是电影和电视行业。虚幻引擎采用C++编写，具有高度可移植性，支持广泛的桌面、移动、控制台和虚拟现实平台。

最新一代虚幻引擎 5 于 2022 年 4 月推出。其源代码可在GitHub上获取，商业使用基于版税模式授予，Epic 收取收入超过 100 万美元的 5%，游戏免收这一费用发布在Epic Games Store上。\Epic 在引擎中加入了 Quixel 等被收购公司的功能，这被认为得益于《堡垒之夜》的收入。2014年，虚幻引擎被吉尼斯世界纪录评为全球“最成功的视频游戏引擎”

UnrealEngine 主页：https://www.unrealengine.com

UnrealEngine 代码：https://github.com/folgerwang/UnrealEngine

UnrealEngine 代码：https://github.com/20tab/UnrealEnginePython

UnrealEngine Wiki：https://en.wikipedia.org/wiki/Unreal_Engine

EpicGames：https://en.wikipedia.org/wiki/Epic_Games

Cognata

Cognata 主页：https://www.cognata.com/

Cognata 介绍：https://www.cognata.com/simulation/

Cognata 介绍：https://www.cognata.com/autonomous-vehicles/

OptiX

Nvidia OptiX（OptiX 应用加速引擎）是一种光线追踪 API，于 2009 年左右首次开，计算通==过CUDA引入的低级或高级API卸载到GPU。CUDA仅适用于Nvidia的图形产品。

Nvidia OptiX 是Nvidia GameWorks的一部分。OptiX 是一个高级或算法API，这意味着它旨在封装光线追踪所属的整个算法，而不仅仅是光线追踪本身。这是为了让 OptiX 引擎能够以极大的灵活性执行更大的算法，而无需应用程序端进行更改。

OptiX 主页：https://developer.nvidia.com/rtx/ray-tracing/optix

OptiX 下载：https://developer.nvidia.com/designworks/optix/download

OptiX Wiki：https://en.wikipedia.org/wiki/OptiX

2.仿真软件

VTD

VTD 是世界上使用最广泛的开放平台，用于创建、配置和动画化用于 ADAS 和自动驾驶车辆的训练、测试和验证的虚拟环境和场景。VTD 为第三方组件提供开放接口，并为第三方模块提供带有 API 的插件概念。其主要特点是在车辆控制、感知、驾驶员培训、人工智能系统训练数据生成和车辆测试台方面的各种应用。

VTD在传感器仿真、复杂场景创建、车辆和行人建模以及车辆动力学方面具有强大的能力。

VTD 主页：https://hexagon.com/products/virtual-test-drive

VTD ASAM：https://www.asam.net/members/product-directory/detail/virtual-test-drive-vtd/

VTD 华为云八爪鱼：https://support.huaweicloud.com/usermanual-octopus/octopus-03-0011.html

CARLA

CARLA 是一个用于自动驾驶研究的开源模拟器。CARLA 的开发是为了支持自动驾驶系统的开发、培训和验证。除了开源代码和协议之外，CARLA 还提供为此目的创建的开放数字资产(城市布局、建筑物、车辆)，并且可以自由使用。该仿真平台支持灵活的传感器套件和环境条件规范。

CARLA 主页：https://carla.org//

CARLA 代码：https://github.com/carla-simulator/carla

CARLA 文档：https://carla.readthedocs.io/en/latest/start_introduction/

CARLA 文档：https://carla.readthedocs.io/en/latest/

CARLA 论文：https://arxiv.org/abs/1711.03938

CarSim

CarSim是专门针对车辆动力学的仿真软件，CarSim模型在计算机上运行的速度比实时快3-6倍，可以仿真车辆对驾驶员，路面及空气动力学输入的响应，主要用来预测和仿真汽车整车的操纵稳定性、制动性、平顺性、动力性和经济性，同时被广泛地应用于现代汽车控制系统的开发。CarSim可以方便灵活的定义试验环境和试验过程，详细的定义整车各系统的特性参数和特性文件。

CarSim 主页：https://www.carsim.com/

CarSim 主页：https://www.carsim.com/products/carsim/index.php

CarSim 介绍：https://www.carsim.com/products/carsim/

CarSim 介绍：https://www.carsim.com/downloads/pdf/CarSim_Introduction.pdf

CarSim 文档：https://carsim.readthedocs.io/en/latest/

BikeSim

BikeSim 提供最准确、详细且高效的方法来模拟两轮和三轮车辆的性能。经过二十多年的实际验证，BikeSim 已成为分析摩托车动力学、开发主动控制器、计算整体系统性能和设计下一代主动安全系统的普遍首选工具。

BikeSim 主页：https://www.carsim.com/products/bikesim/index.php

TruckSim

Trucksim是汽车动力学模型仿真软件，可以和Simulink连接实现整车控制，TruckSim的优点是动力学模型搭建过程简单，参数化配置整车参数，可将动力学模型搭建的较为科学，缺点是不够灵活，没有基于电机的新能源车辆动力学仿真模型。

TruckSim 主页：https://www.carsim.com/products/trucksim/index.php

TruckSim 介绍：https://www.carsim.com/users/pdf/release_notes/trucksim/TruckSim2024_New_Features.pdf

TruckSim 介绍：https://blog.csdn.net/qq_31239495/article/details/86679859

SuspensionSim

SuspensionSim 模拟应用于悬架系统的准静态运动学和合规性 (K&C) 测试。SuspensionSim 在几个方面与车辆模拟产品 BikeSim、CarSim 和 TruckSim 有所不同。SuspensionSim 没有使用具有特定多体模型的预定义参数程序，而是使用基于用户数据集构建模型的多体求解器程序

SuspensionSim 主页：https://www.carsim.com/products/suspensionsim/index.php

SuspensionSim 介绍：https://www.carsim.com/downloads/pdf/SuspensionSim_Handout_Letter.pdf

VehicleSim

Mechanical Simulation Corporation 生产和分销软件工具，用于模拟和分析机动车辆响应转向、制动、油门、道路和空气动力学输入的动态行为。VS SDK 是一个软件开发工具包。这意味着它包含以尽可能少的配置来处理项目所需的所有工具、库、文档和示例项目。

VehicleSim 主页：https://www.carsim.com/products/supporting/vehiclesim/vs_api.php

VehicleSim SDK：https://www.carsim.com/users/vs_sdk/index.php

CarMaker

仿真解决方案 CarMaker 专为在所有开发阶段（MIL、SIL、HIL、VIL）的汽车和轻型车辆的开发和无缝测试而设计。开放式集成和测试平台允许为无人驾驶、ADAS、动力总成和车辆动力学等应用领域实施虚拟测试场景。借助高分辨率 3D 可视化工具 MovieNX，可提供照片级的真实画质。各种支持的标准和接口也保证了与现有工具环境的顺利集成。

CarMaker 主页：https://ipg-automotive.com/cn/products-solutions/software/carmaker/

CarMaker 教程：https://ipg-automotive.com/en/know-how/multimedia/online-tutorials/

CarMaker 与 Simulink 配合使用：https://www.mathworks.com/products/connections/product_detail/carmaker.html

TruckMaker

TruckMaker 仿真解决方案专门针对卡车、工程车辆、公共汽车、中型卡车、重型卡车和特种车辆等重型车辆的开发和测试要求量身定制。TruckMaker 可以在虚拟世界中对真实世界的测试场景进行准确建模，并提高开发过程的敏捷性。根据汽车系统工程方法，使用 TruckMaker 进行虚拟车辆测试可以在现实场景中对整个车辆的整个系统进行无缝开发、校准、测试和验证。

TruckMaker 主页：https://ipg-automotive.com/cn/products-solutions/software/truckmaker/

MotorcycleMaker

虚拟试驾有助于应对当今车辆开发的挑战。MotorcycleMaker 专门针对开发和测试摩托车、电动自行车或踏板车等机动两轮车的要求。MotorcycleMaker 能够在虚拟世界中对真实测试场景进行准确建模，并提高开发流程的敏捷性。根据汽车系统工程方法，MotorcycleMaker 的虚拟试驾可以在现实场景中实现整个车辆的整个系统的无缝开发、校准、测试和验证。

MotorcycleMaker 主页：https://ipg-automotive.com/en/products-solutions/software/motorcyclemaker/

AirSim

AirSim(航空信息学和机器人模拟)是一款开源跨平台模拟器，适用于无人机、汽车等地面车辆和各种其他物体，建立在Epic Games专有的虚幻引擎 4之上，作为人工智能研究平台。它由微软开发，可用于试验自动驾驶汽车的深度学习、计算机视觉和强化学习算法。这允许测试自主解决方案，而不必担心现实世界的损坏。

AirSim 提供约 12 公里的道路和 20 个城市街区以及API，以便以独立于平台的方式检索数据和控制车辆。API 可通过多种编程语言访问，包括C++、C#、Python和Java。AirSim 支持带有驱动轮和飞行控制器（例如 PX4）的硬件在环，以实现物理和视觉上的真实模拟。该平台还支持常见的机器人平台，例如机器人操作系统（ROS）。它被开发为一个虚幻插件，可以放入任何虚幻环境中。Unity插件的实验版本也已发布。

AirSim 主页：https://www.unrealengine.com/

AirSim 介绍：https://microsoft.github.io/AirSim/

AirSim 文档：https://amov-wiki.readthedocs.io/zh-cn/latest/docs/AirSim%E4%BB%BF%E7%9C%9F.html

AirSim 代码：https://github.com/microsoft/AirSim

AirSim Wiki：https://en.wikipedia.org/wiki/AirSim

PreScan

Simcenter Prescan 是一个基于物理的仿真平台，用于涉及自动化的行业，用于开发基于雷达、激光雷达、摄像头、超声波传感器和 GPS 等传感器技术的高级驾驶辅助系统 (ADAS) 和自动驾驶系统 (ADS) 。

Simcenter Prescan 还用于测试车辆对车辆 (V2V) 和车辆对基础设施 (V2I) 通信应用。Simcenter Prescan 可以访问经过验证的传感器模型和材料物理响应，作为一系列有意义的保真度级别的一部分。此外，还包括准确的车辆动力学模型，并且可以轻松填充交通。Simcenter Prescan 有助于将被测系统集成到仿真环路中，并可以将其大规模部署到集群或云中，为验证提供必要的覆盖范围。

Simcenter Prescan 提供了一个编辑器来定义场景以及一个运行时环境来执行场景。

PreScan 主页：https://plm.sw.siemens.com/en-US/simcenter/autonomous-vehicle-solutions/prescan/

PreScan Mathworks：https://www.mathworks.com/products/connections/product_detail/prescan.html

Constellation

NVIDIA Omniverse 是一个模块化开发平台，用于构建 3D 工作流程、工具、应用程序和服务。基于Pixar的通用场景描述(OpenUSD)、NVIDIA RTX 和NVIDIA AI技术，开发人员使用 Omniverse 为工业数字化和感知 AI 应用构建实时 3D 模拟解决方案。

Constellation 主页：https://developer.nvidia.com/omniverse

Constellation 代码：https://github.com/NVIDIA-Omniverse

Constellation Python API：https://docs.omniverse.nvidia.com/isaacsim/latest/reference_python_api.html

Constellation Doc：https://docs.omniverse.nvidia.com/

Constellation Guide：https://docs.omniverse.nvidia.com/dev-guide/latest/index.html

LGSVL

LGSVL 主页：https://www.svlsimulator.com/

LGSVL 代码：https://github.com/lgsvl/simulator

LGSVL文档：https://www.svlsimulator.com/docs/

LGSVL 论文：https://arxiv.org/abs/2005.03778

Omniverse

NVIDIA Omniverse 是一个模块化开发平台，用于构建 3D 工作流程、工具、应用程序和服务。基于 Pixar的通用场景描述(OpenUSD)、NVIDIA RTX 和NVIDIA AI技术，开发人员使用 Omniverse 为工业数字化和感知 AI 应用构建实时 3D 模拟解决方案。

Omniverse 主页：https://developer.nvidia.com/omniverse

Omniverse 代码：https://github.com/NVIDIA-Omniverse

Panosim

PanoSim是由国内一家创业公司联合吉大、北航等高校资源开发的一款智能驾驶汽车仿真软件平台。软件以智能驾驶汽车全栈仿真为开发目标，具有完整的场景模型、传感器模型和车辆模型，可用于智能驾驶算法的快速开发和验证。

Panosim 主页：https://www.panosim.com/

PanoSim自动驾驶仿真测试平台 介绍：https://www.zhihu.com/column/c_1510268115455426560

基于PanoSim5.0虚拟仿真平台的自主代客泊车AVP系统开发教程 介绍：https://blog.csdn.net/Countery/article/details/120577528

SUMMIT

SUMMIT(大规模混合交通中的城市驾驶模拟器)是一款开源模拟器，专注于为复杂的现实世界地图上不受管制的密集城市交通生成高保真交互式数据。它与 OSM 文件和 SUMO 网络形式的地图数据配合使用，生成具有复杂且现实的不受监管行为的异构交通代理群体。SUMMIT 可以使用从在线来源获取的地图数据，提供几乎无限的复杂环境来源。

SUMMIT还公开了与地图数据提供的上下文信息进行交互的接口。它还提供了一套强大的几何实用程序供外部程序使用。通过这些，SUMMIT 旨在实现感知、车辆控制和规划、端到端学习等广泛领域的应用。SUMMIT 是在非常成功的 CARLA 基础上建立的。CARLA 的更新不断合并到 SUMMIT 中，以确保 SUMMIT 的用户能够获得 CARLA 赋予的高质量工作，例如其高保真物理、渲染和传感器；、然而，应该指出的是，并非 SUMMIT 的所有组件都可以与 CARLA 的组件兼容，因为它们是针对不同的用例而设计的。

SUMMIT Doc：https://adacompnus.github.io/summit-docs/

SUMMIT 代码：https://github.com/AdaCompNUS/summit

SUMO

城市交通模拟(SUMO)是一个开源、高度可移植、微观和连续的交通模拟软件包，旨在处理大型网络。它允许进行包括行人在内的联运模拟，并附带大量用于场景创建的工具。它主要由德国航空航天中心运输系统研究所的员工开发。

SUMO 主页：https://sumo.dlr.de/docs/index.html

SUMO 主页：https://eclipse.dev/sumo/

SUMO 文档：https://sumo.dlr.de/docs/index.html

SUMO 论文：https://elib.dlr.de/127994/

SUMO 代码：https://github.com/eclipse-sumo/sumo

OpenCDA

OpenCDA 是一种集成了原型协同驾驶自动化（CDA；参见 SAE J3216）管道以及常规自动驾驶组件（例如感知、定位、规划、控制）的仿真工具。该工具集成了自动驾驶仿真（CARLA）、交通仿真（SUMO）和联合仿真（CARLA + SUMO）。

OpenCDA 基于标准自动驾驶系统 (ADS) 平台，专注于车辆、基础设施和其他道路使用者（例如行人）之间的各类数据交换和合作。OpenCDA全部采用 Python 语言。目的是使研究人员能够快速原型设计、模拟和测试 CDA 算法和功能。通过应用我们的仿真工具，用户可以方便地对其定制算法进行特定任务评估（例如目标检测精度）和管道级评估（例如交通安全）。

OpenCDA 文档：https://opencda-documentation.readthedocs.io/en/latest/index.html

OpenCDA 介绍：https://opencda-documentation.readthedocs.io/en/latest/md_files/introduction.html

OpenCDA 代码：https://github.com/ucla-mobility/OpenCDA

OpenCDA 论文：https://ieeexplore.ieee.org/document/9564825

OpenCDA 论文：https://arxiv.org/abs/2301.07325

OpenCDA-ROS

OpenCDA-ROS，它基于开源框架 OpenCDA 和机器人操作系统 (ROS) 的优势，将 ROS 的实际部署能力与 OpenCDA 成熟的 CDA 研究框架和基于仿真的评估无缝综合起来以填补上述空白。

OpenCDA-ROS 将利用 ROS 和 OpenCDA 的优势，促进仿真和现实世界中关键 CDA 功能的原型设计和部署，特别是协作感知、地图绘制和数字孪生、协作决策和运动规划以及智能基础设施服务。

OpenCDA-ROS 论文：https://ieeexplore.ieee.org/document/10192346

RoadRunner

RoadRunner 是一款交互式编辑器，可让开发者设计用于模拟和测试自动驾驶系统的 3D 场景。开发者可以通过创建特定于区域的路标和标记来自定义道路场景。可以插入标志、信号灯、护栏和道路损坏，以及树叶、建筑物和其他 3D 模型。

RoadRunner 提供用于设置和配置交叉口交通信号计时、相位和车辆路径的工具。RoadRunner 支持激光雷达点云、航空图像和 GIS 数据的可视化。开发者可以使用OpenDRIVE导入和导出道路网络。使用 RoadRunner 构建的 3D 场景可以以 FBX 、glTF、OpenFlight、OpenSceneGraph、OBJ 和 USD 格式导出。导出的场景可用于自动驾驶模拟器和游戏引擎，包括 CARLA、Vires VTD、NVIDIA DRIVE Sim、 rFpro、百度 Apollo、 Cognata、Unity和Unreal Engine。

RoadRunner 主页：https://www.mathworks.com/products/roadrunner.html

TADSim

TADSim 百科：https://baike.baidu.com/item/TAD%20Sim/63745889?fr=ge_ala

腾讯发布自动驾驶仿真平台TAD Sim 2.0：https://zhuanlan.zhihu.com/p/150694950

TADSim 论文：https://dl.acm.org/doi/10.1145/2699715

51SimOne

51World 主页：https://wdp.51aes.com/

51World 介绍：https://www.51vr.com.au/technology/city

51SimOne开源版已正式发布，助力国产自主智能驾驶仿真平台搭建：https://zhuanlan.zhihu.com/p/475293607

PTV-Vissim

PTV Vissim是由位于德国卡尔斯鲁厄的PTV Planung Transport Verkehr AG开发的微观多模态交通流仿真软件包。PTV Vissim 于 1992 年首次开发，如今已成为全球市场的领导者。

PTV-Vissim 主页：https://www.ptvgroup.com/en/products/ptv-vissim

[TV-Vissim Wiki：https://en.wikipedia.org/wiki/PTV_VISSIM

PTV-Visum

PTV Visum 是世界领先的交通规划软件。它是交通网络和交通需求、公共交通规划以及交通战略和解决方案开发的宏观模拟和宏观建模的标准。借助 PTV Visum，开发者可以创建交通模型，为长期战略规划和短期运营使用提供见解。

PTV-Visum 主页：https://www.ptvgroup.com/en/products/ptv-vissim

PTV-Flows

PTV Flows 使交通运营商能够轻松地实时监控和预测交通。通过利用机器学习、最先进的算法和自动警报，PTV Flows 使城市和道路当局能够优化其交通管理，而无需大量资源或复杂的基础设施。

因此，PTV Flows 附带 自动更新的网络地图和 来自覆盖广泛的主要提供商的浮动汽车数据 (FCD) 。该软件可以从浏览器运行，也可以通过 API 集成到现有系统中。

PTV-Flows 主页：https://www.ptvgroup.com/en/products/ptv-flows

Dyna4

DYNA4 是一个开放的模拟环境，用于汽车和商用车的虚拟试驾。物理模型包括车辆动力学、动力总成、内燃机、电动机、传感器和交通。使用 DYNA4 进行虚拟试驾有助于安全高效的功能开发和测试。PC 上的闭环仿真比实时运行速度更快，例如用于早期开发阶段（MIL、SIL），或者当 ECU 可用时可以在硬件在环系统（HIL）上执行。

DYNA4 的道路基础设施和交通 3D 环境模拟为环境感知发挥关键作用的辅助和自动驾驶提供了虚拟测试场。

Dyna4 ASAM：https://www.asam.net/members/product-directory/detail/dyna4/

Dyna4 Vector：https://www.vector.com/int/en/products/products-a-z/software/dyna4/

3.仿真框架

PGDrive

为了更好地评估和提高端到端驾驶的泛化能力，引入了一种开放式且高度可配置的驾驶模拟器，称为 PGDrive，遵循程序生成的关键特征。首先通过所提出的生成算法通过对基本路块进行采样来生成不同的道路网络。然后它们被转变为交互式训练环境，其中呈现具有真实运动学的附近车辆的交通流。

PGDrive 主页：https://www.pgdrive.com/

PGDrive 介绍：https://decisionforce.github.io/pgdrive/

PGDrive Doc：https://pgdrive.readthedocs.io/en/latest/

PGDrive 代码：https://github.com/decisionforce/pgdrive

PGDrive 论文：https://arxiv.org/abs/2012.13681

MetaDrive

MetaDrive 是一款驾驶模拟器，具有以下主要功能：

组合：它支持生成具有各种道路地图和交通设置的无限场景，用于可泛化强化学习的研究。

轻量级：易于安装和运行。它可以在标准 PC 上运行高达 +1000 FPS。

真实：准确的物理模拟和多种感官输入，包括激光雷达、RGB 图像、自上而下的语义图和第一人称视图图像。

MetaDrive 主页：https://metadriverse.github.io//metadrive/

MetaDrive 代码：https://github.com/metadriverse/metadrive

MetaDrive 论文：https://arxiv.org/abs/2109.12674

SimulationCity

SimulationCity 主页：https://www.theverge.com/2021/7/6/22565448/waymo-simulation-city-autonomous-vehicle-testing-virtual

SimulationCity 主页：https://waymo.com/blog/2021/06/SimulationCity.html

CarCraft

Waymo 模拟正在教授自动驾驶汽车宝贵的技能：https://www.engadget.com/2017-09-11-waymo-self-driving-car-simulator-intersection.html

走进 WAYMO 训练自动驾驶汽车的秘密世界：https://www.theatlantic.com/technology/archive/2017/08/inside-waymos-secret-testing-and-simulation-facilities/537648/

模拟如何将一盏闪烁的黄灯变成数千小时的体验：https://medium.com/waymo/simulation-how-one-flashing-yellow-light-turns-into-thousands-of-hours-of-experience-a7a1cb475565

UniSim

UniSim，这是一种神经传感器模拟器，它采用配备传感器的车辆捕获的单个记录日志，并将其转换为现实的闭环多传感器模拟。

UniSim 构建神经特征网格来重建场景中的静态背景和动态角色，并将它们组合在一起，以在新视点（添加或删除角色以及在新位置）模拟 LiDAR 和相机数据。为了更好地处理外推视图，结合了动态对象的可学习先验，并利用卷积网络来完成看不见的区域。实验表明 UniSim 可以在下游任务上模拟具有小域间隙的真实传感器数据。

UniSim 项目：https://waabi.ai/unisim/

UniSim 论文：https://arxiv.org/abs/2308.01898

UniSim 解读：https://zhuanlan.zhihu.com/p/636695025

MARS

提出了一种基于神经辐射场（NeRF）的自动驾驶模拟器。与现有作品相比，我们的作品具有三个显着特点：

1).实例感知：该模拟器使用独立的网络分别对前景实例和背景环境进行建模，以便可以单独控制实例的静态（例如大小和外观）和动态（例如轨迹）属性。

2).模块化：该模拟器允许在不同的现代 NeRF 相关主干、采样策略、输入模式等之间灵活切换，这种模块化设计能够促进基于 NeRF 的自动驾驶模拟的学术进步和工业部署。

3).真实：考虑到最佳模块选择，我们的模拟器设置了新的最先进的照片写实效果。

MARS 论文：https://arxiv.org/abs/2307.15058

MARS 代码：https://github.com/OPEN-AIR-SUN/mars

MARS 项目：https://open-air-sun.github.io/mars/

MARS 作者：https://sites.google.com/view/fromandto

MARS 解读：https://zhuanlan.zhihu.com/p/653536221

MagicDrive

MagicDrive，这是一种新颖的街景生成框架，提供多种 3D 几何控制，包括相机姿势、道路地图和 3D 边界框，以及通过定制编码策略实现的文本描述。此外，该设计结合了跨视图注意模块，确保多个摄像机视图之间的一致性。借助 MagicDrive，实现了高保真街景合成，可捕捉细致入微的 3D 几何形状和各种场景描述，从而增强 BEV 分割和 3D 对象检测等任务。

MagicDrive 论文：https://arxiv.org/abs/2310.02601

MagicDrive 代码：https://github.com/cure-lab/MagicDrive

MagicDrive 项目：https://gaoruiyuan.com/magicdrive/

MagicDrive 解读：https://zhuanlan.zhihu.com/p/663261335

DrivingGaussian

这是一个对动态自动驾驶场景的高效且有效的框架。对于具有移动物体的复杂场景，首先使用增量静态 3D 高斯函数顺序渐进地对整个场景的静态背景进行建模。然后，利用复合动态高斯图来处理多个移动对象，单独重建每个对象并恢复它们在场景中的准确位置和遮挡关系。

一步使用 LiDAR 先验进行高斯散射来重建具有更多细节的场景并保持全景一致性。DrivingGaussian 在驾驶场景重建方面优于现有方法，并能够实现具有高保真度和多摄像头一致性的逼真环视合成。

DrivingGaussian 论文：https://arxiv.org/abs/2312.07920

DrivingGaussian 项目：https://pkuvdig.github.io/DrivingGaussian/

NeuRAD

提出了 NeuRAD，这是一种针对动态 AD 数据量身定制的稳健新颖的视图合成方法。在五个流行的 AD 数据集上验证了其性能，全面实现了最先进的性能。该方法具有简单的网络设计、针对相机和激光雷达的广泛传感器建模（包括卷帘快门、光束发散和光线下降），并且适用于开箱即用的多个数据集。

NeuRAD 论文：https://arxiv.org/abs/2311.15260

NeuRAD 代码：https://github.com/georghess/NeuRAD

NeuRAD 解读：https://zhuanlan.zhihu.com/p/673873117

EmerNeRF

EmerNeRF基于NeRF，可以自监督地同时捕获野外场景的几何形状、外观、运动和语义。EmerNeRF将场景分层为静态场和动态场，在instant-NGP对三维空间进行Hash的基础上，多尺度增强动态对象的渲染精度。通过结合静态场、动态场和光流（场景流）场，EmerNeRF能够在不依赖于有监督动态对象分割或光流估计的前提下表示高度动态的场景，并实现了最先进的性能。

EmerNeRF 论文：EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision

EmerNeRF 项目：https://emernerf.github.io/

EmerNeRF 代码：https://github.com/NVlabs/EmerNeRF

EmerNeRF 解读：https://zhuanlan.zhihu.com/p/674024253

Panacea

Panacea，这是一种在驾驶场景中生成全景和可控视频的创新方法，能够生成无限数量的多样化、带注释的样本，这对于自动驾驶的进步至关重要。Panacea 解决了两个关键挑战：一致性和可控性。一致性确保时间和跨视图的一致性，而可控性确保生成的内容与相应注释的对齐。我们的方法集成了新颖的 4D 注意力和两阶段生成管道以保持一致性，并辅以 ControlNet 框架，通过鸟瞰图 (BEV) 布局进行细致控制。

Panacea 在 nuScenes 数据集上的广泛定性和定量评估证明了其在生成高质量多视图驾驶场景视频方面的有效性。这项工作通过有效增强用于先进 BEV 感知技术的训练数据集，显着推动了自动驾驶领域的发展。

Panacea 论文：https://arxiv.org/abs/2311.16813

Panacea 解读：https://zhuanlan.zhihu.com/p/671567561

LimSim

提出了LimSim，即长期交互式多场景交通模拟器，旨在提供城市路网下的长期连续模拟能力。LimSim 可以模拟细粒度的动态场景，并专注于交通流中多辆车之间的多样化交互。本文详细介绍了LimSim的框架和特点，并通过案例研究和实验展示了其性能。

LimSim 论文：https://arxiv.org/abs/2307.06648

LimSim 解读：https://zhuanlan.zhihu.com/p/657727848

GenSim

建议通过利用大型语言模型（LLM）的基础和编码能力来自动生成丰富的模拟环境和专家演示。方法被称为 GenSim，有两种模式：目标导向生成，其中向LLM提供目标任务，法学硕士提出任务课程来解决目标任务；以及探索性生成，其中LLM从先前的任务中引导并迭代提出有助于解决更复杂任务的新颖任务。

GenSim 论文：https://arxiv.org/abs/2310.01361

GenSim 代码：https://github.com/liruiw/GenSim

GenSim 项目：https://huggingface.co/spaces/Gen-Sim/Gen-Sim

GenSim 介绍：https://zhuanlan.zhihu.com/p/661690326

UNav-Sim

UNv-Sim，是第一个整合了虚幻引擎 5 (UE5) 高效、高细节渲染的模拟器。UNV-Sim 是开源的，包括一个基于视觉的自主导航堆栈。通过支持 ROS 等标准机器人工具，UNav-Sim 使研究人员能够高效地开发和测试水下环境的算法。

UNav-Sim 论文：https://arxiv.org/abs/2310.11927

UAV-Sim

利用神经渲染方面的最新进展来改进基于 noveview 无人机的静态和动态图像合成，特别是从高海拔处捕获显着的场景属性。最当最先进的检测模型主要针对真实数据和合成数据的混合集而不是单独的真实数据或合成数据进行优化时，可以实现相当大的性能提升。

UAV-Sim论文：https://arxiv.org/abs/2310.16255

PegasusSimulator

Pegasus Simulator，这是一个作为 NVIDIA Isaac Sim 扩展实现的模块化框架，可以在逼真的环境中实时模拟多个多旋翼飞行器，同时提供与广泛采用的PX4-Autopilot 和 ROS2 通过其模块化实施和直观的图形用户界面。

PegasusSimulator 论文：https://arxiv.org/abs/2307.05263

MTR

提出了一种简单而有效的自回归方法来模拟多智能体行为，该方法基于著名的多模态运动预测框架，称为运动变换器（MTR）[5]，并应用了后处理算法。我们提交的名为 MTR+++ 的作品在 2023 年 WOSAC 的现实主义元指标上达到了 0.4697。此外，挑战后还提出了基于MTR的改进模型MTR_E，其得分为0.4911，截至2023年6月25日在WOSAC排行榜上排名第三。

MTR 论文：https://arxiv.org/abs/2306.15914

MVTA

提出了用于代理模拟的 MultiVerse Transformer (MVTA) 有效地利用了基于Transformer的运动预测方法，并且专为代理的闭环模拟而定制。为了产生高度真实的模拟，设计了新颖的训练和采样方法，并实现了后退水平预测机制。此外，引入了一种可变长度历史聚合方法，以减轻闭环自回归执行期间可能出现的复合误差。

MVTA 论文：https://arxiv.org/abs/2306.11868

MVTA 项目：https://multiverse-transformer.github.io/sim-agents/

SimOnWheels

推出 Sim-on-Wheels，这是一种安全、现实的车辆在环框架，用于测试自动驾驶汽车在现实世界中安全关键场景下的性能。轮子模拟运行在现实世界中运行的自动驾驶车辆上。

它创建具有危险行为的虚拟交通参与者，并将虚拟事件无缝插入到从物理世界实时感知的图像中。处理后的图像被输入到自主系统中，使自动驾驶车辆能够对此类虚拟事件做出反应。完整的管道在实际车辆上运行并与物理世界交互，但它看到的安全关键事件是虚拟的。Sim-on-Wheels 安全、互动、真实且易于使用。这些实验证明了车轮模拟在促进高保真度和低风险的具有挑战性的现实世界场景中测试自动驾驶过程的潜力。

SimOnWheels 论文：https://arxiv.org/abs/2306.08807

AutoVRL

AutoVRL，这是一个基于 Bullet 物理引擎构建的开源高保真模拟器，利用 PyTorch 中的 OpenAI Gym 和 Stable Baselines3 来训练 AGV DRL 代理，以实现从模拟到真实的策略传输。

AutoVRL配备了GPS、IMU、LiDAR和摄像头的传感器实现、用于AGV控制的执行器和现实环境，并具有针对新环境和AGV模型的可扩展性。该模拟器提供对最先进的 DRL 算法的访问，利用 Python 接口进行简单的算法和环境定制以及模拟执行。

AutoVRL 论文：https://arxiv.org/abs/2304.11496

AptSim2Real

近似配对方法 AptSim2Real 利用了这样一个事实：模拟器可以生成在光照、环境和构图方面与现实世界场景大致相似的场景。我们新颖的训练策略带来了显着的定性和定量改进，与最先进的未配对图像翻译方法相比，FID 分数提高了 24%。

AptSim2Real 论文：https://arxiv.org/abs/2303.12704

AdaptSim

AdaptSim 项目：https://irom-lab.github.io/AdaptSim/

AdaptSim 论文：https://arxiv.org/abs/2302.04903

AdaptSim 代码：https://irom-lab.github.io/AdaptSim/

WaymoX

Waymax 是一款轻量级、多代理、基于 JAX 的模拟器，用于基于Waymo 开放运动数据集的自动驾驶研究。Waymax 旨在支持自动驾驶行为研究的各个方面 ：从规划的闭环模拟和模拟代理研究到开环行为预测。对象（例如车辆、行人）被表示为边界框，而不是原始传感器输出，以便将行为研究提炼成最简单的形式。由于所有组件完全用 JAX 编写，因此 Waymax 可以轻松分发并部署在 GPU 和 TPU等硬件加速器上。

WaymoX 论文：https://arxiv.org/abs/2310.08710

WaymoX 代码：https://github.com/waymo-research/waymax

WaymoX 主页：https://waymo.com/intl/zh-cn/re

4.仿真平台

华为-Octopus

自动驾驶云服务（Octopus）是面向车企、研究所的全托管平台，在华为云上提供自动驾驶数据云服务、自动驾驶标注云服务、自动驾驶训练云服务、自动驾驶仿真云服务、配置管理服务，帮助车企以及研究所快速开发自动驾驶产品。

Octopus 主页：https://support.huaweicloud.com/octopus/index.html

什么是Octopus：https://support.huaweicloud.com/productdesc-octopus/octopus-01-0001.html

仿真服务简介：https://support.huaweicloud.com/usermanual-octopus/octopus-03-0009.html

百度-ApolloCloud

ApolloCloud 主页：https://apollocloud.baidu.com/

Apollo仿真平台场景编辑器：https://apollo.baidu.com/community/article/120

云仿真测试解决方案：https://apollocloud.baidu.com/solution/test

Apollo仿真平台：https://developer.apollo.auto/platform/simulation_cn.html

腾讯-TDASim

智能网联解决方案：https://cloud.tencent.com/solution/intelligent-vehicle-road-cooperation

TADSim 百科：https://baike.baidu.com/item/TAD%20Sim/63745889?fr=ge_ala

腾讯发布自动驾驶仿真平台TAD Sim 2.0：https://zhuanlan.zhihu.com/p/150694950

TADSim 论文：https://dl.acm.org/doi/10.1145/2699715

阿里-IVOCC

IVOCC：https://www.aliyun.com/product/iovcc

英伟达-DriveSim

NVIDIA DRIVE Sim 是一个端到端仿真平台，从头开始构建，可运行大规模、基于物理的多传感器仿真。它是开放的、可扩展的、模块化的，支持从概念到部署的 AV 开发和验证，提高开发人员的工作效率并加快发布时间。

DriveSim 主页：https://developer.nvidia.com/drive/simulation

DriveSim 介绍：https://www.nvidia.com/en-sg/self-driving-cars/simulation/

5.光学仿真

3DOptix

3DOptix 官网：https://www.3doptix.com/

3DOptix 主页：https://www.3doptix.com/design-simulation-software/

OpticStudio

Ansys Zemax OpticStudio 光学工作流程和设计软件主页：https://www.ansys.com/products/optics/ansys-zemax-opticstudio

LightTools

LightTools 使您能够快速创建一次尝试就能成功的照明设计，从而减少原型迭代。使用 LightTools 的智能且易于使用的工具提高您的生产效率并缩短上市时间。

LightTools 主页：https://www.synopsys.com/optical-solutions/lighttools.html

总结

其实很多ADAS企业都不太重视仿真的，重心都在回灌和道路测试，即使搭建了仿真工具链，在量产项目中的作用也很小，只是用来分析、复现问题/BUG。

面向量产项目/功能开发的传感器数据&信号仿真、车辆运动学&动力学仿真、感知&规控联合仿真、数据孪生数据挖掘的仿真还是没有完全成熟的方案，迫切需要面向WorldSim的全栈联合仿真&模拟器。如果可以把芯片硬件仿真、软件算法仿真一起搞了，那就更完美了。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2400人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！