自动驾驶仿真测试——路漫漫其修远兮-CSDN博客

DeepScenario的AI软件全自动探测和跟踪一个场景中所有移动物体的输出示例。（DeepScenario）

关于如何更好地利用仿真技术来训练并测试自动驾驶汽车，业界存在许多不同观点，而它们又互相交织，彼此关联。全球自动驾驶仿真专家将不断努力攻克仿真技术面临的障碍。

目前已有数百万辆虚拟汽车开展了数百万英里的仿真测试。仿真测试的长期使命是推动实现高水平的汽车自动化。但由于工程师在探索不同的仿真技术和传感器模型方面无法达成共识，因此确定此类汽车的最佳测试方案是整个汽车行业的建设性讨论议题之一。

目前，全球各地的自动驾驶汽车初创公司正忙于编写代码，以定义仿真测试平台的规则。因为虽然业界在某些方面（例如众所周知的汽车安全方面）已经达成共识，但在如何实现这一目标上仍存在一些合理的争议。

Imagry：专注于真实道路测试

乐于探索的深耕自动驾驶汽车神经网络的公司也发现，仿真测试中存在一些真正的局限性，而Imagry就是这样的一家公司。

Imagry无地图L3级和L4级自动驾驶软件是基于“神经网络和AI系统是真正解决自动驾驶汽车问题的唯一途径” 这一理念研发的。

Imagry首席执行官Eran Ofir在德国慕尼黑举行的IAA Mobility 2023博览会上发表讲话。（SEBASTIAN BLANCO）

Imagry首席执行官Eran Ofir在慕尼黑举办的2023年德国国际汽车及智慧出行博览会（IAA Mobility 2023）上接受SAE采访时表示，“我们坚信人工智能奇点理论，即AI在执行驾驶任务时的表现终将优于人类。”

Imagry成立于2015年，总部位于加州圣何塞，并在以色列海法设有办事处。该公司拥有两条主要业务线，一是为乘用车OEM和一级供应商提供感知软件和运动规划软件，二是提供自动驾驶乘用车和公交车技术。该软件已经在以色列的三个项目得以应用。此外，Imagry已经在荷兰、法国、葡萄牙、迪拜向具有类似公交行驶路线的项目进行招标，招标结果将于2024年宣布。

Imagry的自动驾驶软件是无地图的，与位置信息无关，只需通过传感器和人工智能来了解周围的世界。（Imagry）

Imagry指出，其自动驾驶软件与竞品有三大主要区别。首先，该软件是无地图的，意味着无需车载或云端高清地图的辅助便能自动驾驶汽车。第二点与第一点相似，即该软件可以独立定位，即使在未经预先批准的道路上也能行驶。第三，该软件不受硬件限制，因此OEM和一级供应商可在搭载了任何芯片组的自动驾驶汽车上运行该软件。

Imagry感知系统的核心元素是一个神经网络阵列，可以实时并行地处理车辆运动过程中出现的不同类型的物体。因此汽车无需连接离车数据或计算机，只依赖导航信息便可从A点到达B点。此外，Imagry采用多个神经网络，分别用于感知不同类型的物体，例如交通信号灯、行人、运动车辆、停放车辆和车道等。每个神经网络都有助于构建一个能够感知汽车周围300米（984英尺）范围内的所有物体并将其实时呈现出来的3D图层。

Imagry在以色列海法测试其自动驾驶人工智能，使用起亚Niro电动汽车作为测试车辆。（Imagry）

此外，Imagry还致力于研发运动规划软件，也正是在这一领域，它们遭遇了仿真测试方面的挑战。自2018年以来，该公司一直在美国、德国、以色列开展自动驾驶汽车实际道路测试，并利用这些数据来训练深度卷积神经网络，然后基于该网络编写代码。

Ofir表示，“我们已花费数年训练这些神经网络，使其理解各种场景。我们训练神经网络识别了数亿张图像——其中包括1万个环形交叉路口、100万名行人以及大约15万个交通信号灯的图像。总而言之，我们训练它们识别了大量物体。但在进行仿真测试时，我们发现效果并不理想，低于预期。”

Ofir表示，虚拟驾驶环境与实际路况之间存在着一定的差距，为弥合这一差距，Imagry记录了测试汽车的每次行驶情况，并使用半自动标注工具，进一步指导神经网络通过监督学习来识别物体。在这一过程中，Ofir也发现仅依靠软件来完成仿真测试存在一定的局限性。

他表示，“你可能听到一些供应商讨论过无监督学习的问题：当一辆自动驾驶汽车使用的软件在无人为监督或控制的条件下进行学习，你是否还愿意乘坐这辆车？你甚至都不知道AI系统学到了什么。因此，我们坚信，必须让AI系统进行监督学习，但这需要花费很长的时间。必须经过多年的艰难探索才能达到较高水平。然而一旦跨过这道坎，我们的技术就成功了。”

反方观点代表：Helm.ai

Helm.ai认为，无监督学习正是用于训练软件的关键技术。该公司致力于研发自动驾驶汽车和机器人感知系统，其软件可从摄像头中获取原始图像并试图探测自动驾驶汽车需要感知的各种物体，例如：行人、汽车、车轮、可行驶的路面等等。Helm.ai感知技术负责人Michael Viscardi表示，无监督学习对于助力其AI系统理解夜间驾驶、大雾、强光等复杂情况至关重要。

Viscardi在德国国际汽车及智慧出行博览会上向SAE透露，“许多自动驾驶汽车甚至人类司机都会难以应对这些情况。因此我们开发了一种称之为‘深度教学’，而非深度学习的解决方案。该神经网络基本上可以使用大型、无监督学习方式，根据数百万张图像进行自我教学，从而获得这些边缘场景的鲁棒性。”

Viscardi表示，“Helm的AI系统利用数百万个未经人工标注的图像帧来学习如何进行夜间驾驶。Helm采用的AI策略是从大量不同的来源获取数据——例如从YouTube获取显示雨天或夜间场景的行车记录仪录像。因此神经网络可以从这些数据中学习，并提供可靠的道路预测。

Helm.ai对其 AI从计算指标（如关键绩效指标（KPI））中学到的内容进行了双重检查，并用Viscardi所称的广泛验证数据集进行验证。

Viscardi表示，“在选择真实道路测试还是仿真测试的问题上，由于我们使用的是通用神经网络，因此可以用全球范围的数据进行验证。我们首先使用大量的数据来训练神经网络，然后针对特定的地理位置或摄像头进行专门的训练。

此外，Helm.ai还可以专为评估某一家OEM的特定数据调整AI，然后对该数据进行微调，使其应用于大规模测试并提高准确性。

他表示，“无监督学习意味着我们无需在每次边缘场景出现时，采集一百万张图像帧并进行标注，这样既耗费资金又耗时。虽然通过不断投入资金和时间，最终可能实现这一目标，但这种解决方案不具普适性。我们提供的是一种具有普适性的解决方案，适用于各种摄像头、不同的地理位置和边缘场景。”

他断言，相比于手动标注边缘场景，无监督学习耗时更少、成本更低，而且该系统也不受硬件限制。Viscardi承认，Helm自动驾驶AI的学习能力将来可能会触及上限，但目前还远未到那个时候。就目前而言，系统学习的数据越多越好，尤其当Helm开始在高速公路试点系统中加入城市AI试点后，学习效果显著提升。

他表示，“基于这一理念实现城市场景下的自动驾驶，正是我们奋斗的目标。”

从YouTube到自动驾驶：DeepScenario

Helm.ai并不是唯一一家与反对仿真测试的Imagry意见相左的自动驾驶汽车研发公司。DeepScenario联合创始人Holger Banzhaf表示，“我们的目标是实现准确的位置度量、业界最快的仿真速度，以及最丰富的细节信息。”DeepScenario于2021年从慕尼黑工业大学中分离出来，是一家总部位于斯图加特、仅拥有10名员工的初创公司。该公司开发了一种用于创建测试平台环境的软件，供汽车制造商在虚拟场景中运行自动驾驶算法。

Banzhaf在IAA上向SAE透露，目前该软件只能显示出简单的方框，但汽车有形状、有颜色，这会对感知算法产生影响，因为相比于白色物体，黑色物体更难以探测到。”

为了创建Imagry首席执行官Ofir等同行所提到的挑战性的边缘场景，DeepScenario选择从标准视频中提取汽车行驶数据，以创建虚拟测试环境。但该公司的独特之处在于它可以访问来自固定摄像头的视频源，其中可以显示交通流量。因此，DeepScenario可获取特定十字路口短时间内的大量真实数据。最近，DeepScenario的无人机在3小时内采集了加州洛杉矶1.2万个高速公路入口和出口的数据（Banzhaf表示从法规限制角度来看，在美国使用无人机飞行更为容易，而其他国家更难，但公司依然收集了来自多个国家的数据）。基于这些数据，DeepScenario便可以通过“场景挖掘”技术，针对驾驶软件遭遇的边缘场景难题为OEM和一级供应商提供可能的解决方案。

Banshaf表示，“如果您的系统不擅长处理十字路口、高速公路入口以及其他特定场景，我们可以助您快速构建相应位置的数据库。如果您需要在数据现有中寻找特定信息，例如交通事故或近似事故数据等场景，基本上只要将这些20秒的代码片段添加至您的数据库中，即可在更新自动驾驶软件时对其进行测试。”

AI自动驾驶是否可行

2023年5月，英国政府针对智能网联和自动化出行技术用作公共交通解决方案的可行性研究开放了拨款申请。这场拨款竞赛由智能网联自动驾驶汽车中心（CCAV，Centre for Connected and Autonomous Vehicles）组织，吸引了数十家公司的关注，其中就包括rFpro。该公司致力于为汽车公司和赛车公司打造工程级仿真环境。9月，rFpro宣布成为由CCAV资助的两个联合项目的合作伙伴，项目资金总额达400万英镑（490万美元）。

根据官方文件，Sim4CAMSens项目获得了200万英镑（240万美元）的融资，该项目旨在实现自动驾驶系统（ADS）传感器在仿真测试中的精确呈现。用rFpro技术总监Matt Daley的话来说，“该项目的任务是回答一些永不过时的问题，例如：仿真测试要达到什么程度才能投入使用？我们可在多大程度上信任仿真测试？企业应该在什么时候开始真正期待仿真测试能呈现科学结果？”

2023年9月，Daley在布鲁塞尔举办的AutoSens大会上接受SAE采访时称，rFpro将为Sim4CAMSens项目打造一些适用于所有模态、摄像头、激光雷达和雷达的新型传感器模型，以提升仿真测试精准评估自动驾驶软件性能的能力。

此外，rFpro还参与了DeepSafe项目。该项目获得了CCAV的200万英镑融资，旨在“开发一种基于仿真测试的训练工具，以训练自动驾驶汽车应对‘边缘场景’——即罕见、意外的驾驶场景。”DG Cities、伦敦帝国理工学院和Claytex也参与了这项由dRISK.ai牵头的项目。他们研发的自动驾驶汽车训练工具将于项目结束时推出，让DeepSafe的‘传感器真实’边缘场景数据解决方案（真实传感器在现实中所探测到数据的仿真）实现商业化。

为了更好地发现边缘场景，dRISK建立了一个世界各地车祸和未遂车祸的超维数据库，跟踪500个不同的点。（SEBASTIAN BLANCO）

dRISK.ai成立于2019年，目前总部位于美国加州帕萨迪纳和英国伦敦。该公司称其在牵头DeepSafe项目方面独具优势。因为该公司的超高维数据集正是为了发现异常交通状况而开发的，它可以分类跟踪大约500个不同的数据点。从公开的信息来看，目前dRISK正与英伟达、May Mobility和Luminar进行合作。

dRISK整合了来自多个来源的碰撞和事故数据，包括来自“危险十字路口”的视频数据和事故报告，因此它可以创建“世界道路上可能出现的一切问题的数据库”（dRISK）

今年9月，dRISK交通系统策略师Kiran Jesudasan在北美国际车展上向SAE透露，“我们可以从任何可用的数据集中捕捉异常交通状况。例如，来自监控摄像和行车记录仪传感器信息流的数据，甚至是来自交通事故报告和保险索赔的数据。然后，我们将所有的数据整合至一个分类系统中，并根据这些数据创建仿真测试。”

在dRISK申请CCAV拨款时，它建议英国政府重新考虑对这场拨款竞赛设立的要求。

Jesudasan表示，“英国政府最初的设想是，寻找一种可用于测试新兴自动驾驶汽车和ADAS车辆的模拟器。但我们给政府的反馈是，你们不需要这样的模拟器，因为所有人都在建造模拟器。你们需要的是一种可以帮助你们理解应当优先模拟哪些内容的机制。例如，哪些信息对你们是最重要的，你们能够以多大的把握向公众保证，自动驾驶汽车不会成为马路杀手。”

Jesudasan表示，dRISK的数据就可以提供这种把握，因为可以对这些数据进行审查，从而助力车企在研发各种自动驾驶软件时避免常见的‘进一步退两步’的现象。

Jesudasan指出，“AI在应对特定状况时（例如，在无保护的情况下左转）可以表现得非常好出色，但它在应对其他状况时（例如，汽车右拐时行人突然快速横穿马路）表现非常糟糕，因为AI在特定领域进行了过度训练。相比之下，我们的工具可以使其理解整个训练环境，了解差距在哪里并系统地弥合差距，而不是让它凭空猜测，‘我应该调查什么？’”