NVIDIA - 自动驾驶安全报告（Part 2）

自动驾驶安全设计要点解析

• 硬件 - NVIDIA DRIVE Xavier

• 软件 - NVIDIA DRIVE AV软件堆栈

• 传感器 - Lidar /Radar/Camera

• 数据中心 - DNN模型训练与测试

• 建图 - 高精地图构建与更新

1、自动驾驶安全设计 - Hardware

 

1）NVIDIA DRIVE AGX硬件体系结构的核心是NVIDIA Xavier，它的安全架构是由300多位架构师、设计师和安全专家历时数年通过对150多个与安全相关的模块的分析而开发的，结合适当的主控制单元，它可支持最高功能安全等级ASIL-D。

 

2）Xavier的90亿个晶体管使它能够处理不可思议的数据量。一个GMSL（千兆多媒体串行链路）的高速输入/输出将Xavier连接到有史以来最大的激光雷达、雷达和相机传感器阵列。

 

3）Xavier内部有六种异构处理器协同工作：图像信号处理器、视频处理单元、可编程视觉加速器、深度学习加速器、1个CUDA GPU和1个CPU。它们总共每秒处理近40万亿次操作，仅深度学习就需要30万亿次操作。

 

4）Xavier包括许多类型的硬件诊断。使用锁步比较器和存储器上的纠错码对逻辑的关键区域进行复制和并行测试，以检测故障并提高可用性。一个独特的内置自测试有助于在诊断中发现故障，无论故障在芯片上的什么位置。

 

图1. NVIDIA DRIVE Xavier 内部架构示意图

 

2、自动驾驶安全设计 - Software

 

1）NVIDIA DRIVE AV软件堆栈包含三个主要软件模块：感知模块、规划模块和控制模块；“感知”模块获取传感器数据，并结合使用深度学习和传统计算机视觉来“理解”车辆周围环境。一旦了解了环境，“规划”模块便会使用此信息来确定最佳路线。最后，“控制”模块向执行机构发出指令，控制车辆沿着规划路线行驶。

 

2）DRIVE AV可同时运行10多个DNN模型。但是，DNNs的数量及其涵盖的功能正在不断增长。例如，有专门用于控制车辆周围行人和骑自行车的人的检测和响应的DNN模型，并与专用于交通信号灯的DNN模型同时运行。

图2. DRIVE 软件架构示意图

 

3）每个主要功能（例如传感器处理，基于AI的感知，定位，轨迹规划和建图）均使用多种冗余系统去执行，以实现最高的安全性；例如：

• DRIVE AV使用嵌入式模块来检测和处理障碍物和可驾驶空间。

• 对于等待条件，同时检测交通信号灯，停车标志，交叉路口和停车线。

• 对于路径，同时检测车道边缘和可驾驶路径。

 

这种检测发生在多个帧上，并且随着时间的推移跟踪对象。我们还通过使用多种传感器类型（雷达，摄像机和激光雷达）对多样性进行分层。

DNN的三重组合，在多个框架上对对象的跟踪以及不同传感器类型的存在确保了设计运行范围内的安全运行。此外，集成的功能安全机制可在发生系统故障时实现安全运行。

3、自动驾驶安全设计 -  Sensor

自动驾驶开发的第一步是数据收集，不同等级的自动驾驶需要不同的传感器。NVIDIA DRIVE HyperionTM开发工具包支持所有自动化级别的自动驾驶开发、数据活动处理、验证和确认以及地面真实数据收集。

 

图3. 自动驾驶系统硬件布置示意图

 

1）DRIVE AGX平台  - 传感器信息处理、AI计算 、路径规划、车辆控制

2 ) 摄像头 - 静态物体（标识，车道线、路肩等）和 动态物体（行人、车辆、骑自行车者等）探测与识别

3） Radar - 用于较广范围光照和天气条件下的运动物体探测（测距/测速等）

4） Lidar - 可用于任何光照条件下的高精度探测

5）GNSS&IMU - 用于摄像头、雷达等传感器的运动补偿以及提供大致定位信息；

 

4、自动驾驶安全设计 - Data Center

 

1）收集传感器数据后，需要对其进行处理；如果是相机图像，则需要选择要标记的图像以训练AI算法，整个过程将使AI算法不断得到验证。

 

2）不仅标记捕获帧内的对象和图像，还标记视频序列中场景和条件。拥有的数据越多样化和公正，DNNs就越安全可靠。

 

3）NVIDIA还定义了关键性能指标来衡量收集的数据质量，并将合成数据添加到训练数据集中。最终目标是不断添加训练数据，以构建位置、条件和场景的综合矩阵。对照数据验证神经网络模型的性能，并在收集新数据时对其进行重新测试。

 

4）除了标记图像中的对象之外，还需要标记收集数据的条件。提供条件矩阵用作训练数据集，以在各种情况下测试DNNs模型的性能。如果效果未达到关键指标，需要收集并处理更多数据以进行验证。

 

图4. 训练和测试神经网络模型

5）数据中心中 - GPU用途：

• 调查具有各种数据集的新DNNs模型

• 不断训练神经网络模型

• 分析工作流程的结果

• 测试和验证仿真结果

 

5、自动驾驶安全设计 - Mapping

 

1）强大的地图绘制和定位功能可让自动驾驶汽车精确定位自身位置，识别潜在危险，然后准确判定可以安全行驶的位置。

 

2）NVIDIA DRIVE使车辆制造商可以使用来自全球各个供应商的地图，同时还允许车辆使用自身传感器来构建和更新地图。

 

3）英伟达通过将车辆定位到每个传统地图供应商的高清地图上，然后通过进行详尽的仿真模拟以建立相应的功能安全性。

 

4）英伟达系统级的监控处理过程将会不断诊断和预防故障，以此来减轻功能失效或其他故障带来的不利影响。例如，为确保地图始终可用，NVIDIA DRIVE平台会允许以多种方式对地图进行更新，以确保一个地图实例故障时有另外一个地图实例可以替代它。

 

图5. 高精地图构建和更新

 

参考资料：

1. Self-driving  safety  report (NVIDIA)

 

注：如需获取参考文件，扫描下方二维码，关注公众号“筋斗云与自动驾驶”，在公众对话框回复【筋斗云05】即可获取。