点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
自动驾驶仿真是自动驾驶车辆上路的最后一公里,搭建逼真的场景和障碍物来模拟真实场景,从而降低测试风险,减少事故的发生,近年来很多自动驾驶公司投入人力物力搭建仿真系统,将算法在系统长时间验证,得到接近的报警率以及准确率,下面将会为大家罗列下领域最常用的仿真框架,建议收藏!
一、前端仿真
前端仿真系统主要是给智能驾驶系统主动喂数据,核心是场景仿真!在不进行实车测试的情况下,进行算法与功能验证。自动驾驶算法测试大约 90% 通过仿真平台完成,9% 在测试场完成,1% 通过实际路测完成。
1.VTD
VTD(Virtual Test Drive)是由德国的VIRES公司开发的复杂交通环境视景建模、仿真软件,VTD因其仿真功能实用性强及高精度实时画面渲染效果突出等特点,目前作为主流仿真软件被各大主机厂与自动驾驶供应商广泛利用。其运行于Linux平台,仿真要素包括行人/动物、交通模型、虚拟世界、天气/光线、传感器仿真及车辆动力学等。
2.CarMaker
Carmaker,还有相关的 TruckMaker和MotorcycleMaker是德国IPG公司推出的动力学,ADAS和自动驾驶仿真软件。Carmaker首先是一个优秀的动力学仿真软件,提供了精准的车辆本体模型(发动机、 底盘、 悬架、传动、 转向等) ,除此之外, Carmaker还打造了包括车辆,驾驶员,道路,交通环境的闭环仿真系统。
3.PreScan
PreScan是西门子公司旗下汽车驾驶仿真软件产品,Prescan是以物理模型为基础,开发ADAS和智能汽车系统的仿真平台。支持摄像头、雷达、激光雷达、GPS,以及V2V/V2I车车通讯等多种应用功能的开发应用。PreScan基于MATLAB仿真平台,主要用于(ADAS)汽车高级驾驶辅助系统和无人自动驾驶系统的仿真模拟软件,其包括多种基于雷达,摄像头,激光雷达,GPS,V2V和V2I车辆/车路通讯技术的智能驾驶应用。支持模型在环(MIL),实时软件在环(SiL),硬件在环(HiL)等多种使用模式。
4.Carla
CARLA是由西班牙巴塞罗那自治大学计算机视觉中心指导开发的开源模拟器,用于自动驾驶系统的开发、训练和验证。同 AirSim一样,Carla也依托虚幻引擎进行开发,使用服务器和多客户端的架构。在场景方面, CARLA 提供了为自动驾驶创建场景的开源数字资源(包括城市布局、建筑以及车辆) 以及几个由这些资源搭建的供自动驾驶测试训练的场景。同时,CARLA也可以使用VectorZero的道路搭建软件RoadRunner制作场景和配套的高精地图,也提供了简单的地图编辑器。
5.OpenCDA
同时支持协同驾驶开发与测试、自动驾驶全栈开发和CARLA-SUMO联合仿真,自带10+个测试场景,可快速测试你各个模块算法的鲁棒性,在特定地图下自定义场景快捷简单!
6.PTV Vissim
Vissim是德国PTV公司提供的一款世界领先的微观交通流仿真软件。Vissim可以方便的构建各种复杂的交通环境,包括高速公路,大型环岛,停车场等,也可以在一个仿真场景中模拟包括机动车,卡车,有轨交通和行人的交互行为。它是专业的规划和评价城市和郊区交通设施的有效工具,也可以用来仿真局部紧急情况交通的影响,大量行人的疏散等。
7.VIRES VTD
VTD (VirtualTest Drive)是德国 VIRES公司开发的一套用于ADAS,主动安全和自动驾驶的完整模块化仿真工具链。VIRES已经于2017年被MSC软件集团收购。VTD目前运行于Linux平台,它的功能覆盖了道路环境建模、 交通场景建模、天气和环境模拟、 简单和物理真实的传感器仿真、场景仿真管理以及高精度的实时画面渲染等。可以支持从SIL到HIL和VIL的全周期开发流程,开放式的模块式框架可以方便的与第三方的工具和插件联合仿真。VIRES也是广泛应用的自动驾驶仿真开放格式OpenDrive,OpenCRG和OpenScenario的主要贡献者,VTD的功能和存储也依托于这些开放格式。VTD的仿真流程主要由路网搭建,动态场景配置, 仿真运行三个步骤组成。
8.DRIVE Sim
NVIDIA DRIVE Sim™ 能够运用可扩充、符合真实物理情况且多元的仿真平台,解决这些挑战。DRIVE Sim 让自动驾驶汽车开发人员可以提高生产力、效率和测试覆盖率,进而缩短上市时间,同时将在真实世界中驾驶的需要降到最低。
9.SUMO
SUMO 是由德国国家宇航中心开发的开源微观连续交通流仿真软件。它附带了一个交通仿真路网编辑器, 可以通过交互式编辑的方式添加道路, 编辑车道的连接关系, 处理路口区域, 编辑信号灯时序等。也可以通过一个单独的转化程序转换来自 Vissim, OpenStreetMap, OpenDrive 的路网。可以通过编辑路由文件的方式指定每辆车辆的路由, 或者使用参数随机生成。在运行时, 可以同时处理数平方公里, 多达几万辆的车辆的连续交通仿真需求, 同时也提供了一个基于OpenGL 的可视化端实时显示交通仿真的结果。另外, SUMO 还提供了方便的 C++和 Matlab 接口, 可以灵活的与第三方仿真程序联合运行。SUMO 本身是做为交通领域流量, 时序, 预测等仿真来使用的, 最近逐渐开始应用在无人驾驶的仿真上,为无人驾驶算法提供随机的复杂动态环境。
10.AirSim
AirSim 是微软研究院开源的一个建立在虚幻引擎(Unreal Engine) 上的无人机以及自动驾驶模拟研究项目。AirSim 实现为一个虚幻引擎的插件, 它充分利用了虚幻引擎在打造高还原的逼真虚拟环境的能力, 可以模拟阴影、 反射等现实世界中的环境, 以及虚拟环境可以方便产生大量标注数据的能力, 同时提供了简单方便的接口, 可以让无人机和自动驾驶的算法接入进行大量的训练。AirSim 的主要目标是作为 AI 研究的平台, 以测试深度学习、 计算机视觉和自主车辆的端到端的强化学习算法。最新的 AirSim 也提供了 Unity 引擎的版本, 添加了激光雷达的支持。
11.Apollo
Apollo 仿真平台是一个搭建在百度云和 Azure 的云服务,可以使用用户指定的 Apollo 版本在云端进行仿真测试。Apollo 仿真场景可分为Worldsim 和 Logsim。Worldsim 是由人为预设的道路和障碍物构成的场景, 可以作为单元测试简单高效的测试自动驾驶车辆, 而 Logsim 是由路测数据提取的场景,真实反映了实际交通环境中复杂多变的障碍物和交通状况。Apollo 仿真平台也提供了较为完善的场景通过判别系统,可以从交通规则, 动力学行为和舒适度等方面对自动驾驶算法做出评价。
12.Waymo Carcraft
代表了世界领先水平的 Waymo 无人车, 一个核心的秘密就是它的 Carcraft 仿真器, 它是 Waymo 的无人车每年能够行驶几十亿英里的关键。在 Carcraft 开发之初, 这个系统只是用可视化的方式用来回放路侧车辆在道路上的情况, 之后它扮演了越来越重要的角色。Carcraft 可以为每个新软件版本使用在真实世界里驾驶的回放数据进行测试, 用来验证算法的改进, 发现新的问题,还可以构建全新的虚拟场景进行测试。每天有 25000 辆虚拟 Waymo 无人车在模拟器中行驶八百万英里以上的里程, 来巩固已有的自动驾驶技能和测试新的技能。模拟仿真测试最大的优势是可以快速重复测试一些现实中不常发生但却很重要的场景, 比如五岔路口和并入环岛。模拟器能够让自动驾驶系统有很多次机会练习这种单一场景来精通对应的技能。另外在模拟器中, 可以对某个具体测试场景中的某个参与者, 或者是交通信号进行一些改变, 添加额外的行人等, 通过这种方式可以构建大量的衍生场景, 从而对无人驾驶算法进行更充分的测试。
13.腾讯TAD Sim仿真平台
腾讯自动驾驶虚拟仿真平台TAD Sim在设计之初,就有别于传统的仿真系统,是为自动驾驶测试验证而专门设计开发,内置厘米级高精度地图,构建了包含动态和静态要素真值数字孪生系统,用千变万化的场景进行自动驾驶算法完备性的测试。
14.DriveFuzz
链接:https://t.zsxq.com/08NrsZNyn
二、后端仿真
后端仿真系统的核心是车辆模型,车辆模型是一个“虚拟车辆”,除了要构建其动力学相关的物理模型外,还需要开发匹配的ECU控制模型,ECU控制模型大多依赖Simulink建模实现。
1.Matlab/Simulink
借助 MATLAB 和 Simulink,能够:访问、可视化和标注数据:仿真驾驶场景、设计规划和控制算法、设计感知算法、使用代码生成部署算法、集成和测试,可以使用适用于 CAN 和 ROS 的 MATLAB 接口访问实时和记录的驾驶数据。使用内置工具,还可以可视化和标注导入的数据。例如,真值标注器界面能够可视化信号,并支持以交互方式标注多个信号,也可以自动标注这些信号,并将标注的数据导出到工作区。
2.CarSim
CarSim, 还有相关的 TruckSim 和 BikeSim 是 Mechanical Simulation 公司开发的强大的动力学仿真软件, 被世界各国的主机厂和供应商所广泛使用。CarSim 针对四轮汽车, 轻型卡车,TruckSim 针对多轴和双轮胎的卡车,BikeSim 针对两轮摩托车。CarSim 是一款整车动力学仿真软件, 主要从整车角度进行仿真,它内建了相当数量的车辆数学模型, 并且这些模型都有丰富的经验参数,用户可以快速使用,免去了繁杂的建模和调参的过程。
3.Dyna4
DYNA4可以提供高精度的车辆动力学模型,该模型包括底盘系统、发动机模型、冷却系统、制动系统、传动系统、转向系统及各种必要的电气系统,用户可以根据需求自行替换和编辑。
4.CarMaker
Carmaker, 还有相关的 TruckMaker 和 MotorcycleMaker 是德国 IPG 公司推出的动力学, ADAS 和自动驾驶仿真软件。Carmaker 首先是一个优秀的动力学仿真软件, 提供了精准的车辆本体模型(发动机、 底盘、 悬架、 传动、 转向等) , 除此之外, Carmaker 还打造了包括车辆, 驾驶员, 道路, 交通环境的闭环仿真系统。
5.PanoSim
国内早期的仿真品牌,以PanoSim 为品牌的系列软硬件产品,作为汽车智能驾驶仿真测试、验证与评价的关键一体化平台,已在包括美国通用汽车、德国戴姆勒汽车、上汽集团、东风汽车和地平线等在内的国内外企业和科研院所广泛应用。
6.LGSVL Simulator
LGSVL Simulator 是 LG 的硅谷实验室基于 Unity 引擎研发的一款开源自动驾驶模拟器。它提供了和开源自动驾驶平台 Autoware 和 Baidu Apollo 的集成。用户可以在 Unity 内在 3D 场景的基础上进行标注并导出成和自动驾驶系统相匹配的高精地图格式。同时它也提供了包括激光雷达, 毫米波雷达, GPS, IMU, 摄像头的传感器仿真的支持, 可以同步输出传感器的原始结果和真值。
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~