Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car论文笔记

这一系统通过学习人类驾驶者的操纵方式来学习驾驶汽车。神经网络通过车上安装的摄像头收集路面情况，随后将图像和驾驶者动作的记录进行配对。研究者们记录了大量不同环境中的驾驶数据：有画线和没有画线的道路；乡间小路和高速公路；一天中不同光照条件下的同一段路，以及不同天气条件下的道路环境。

通过观察，神经网络通过训练在完全没有手动输入编程指令的情况下学会了如何驾驶 BB8。现在这个神经网络已经可以在未遇到过的新环境中成功地驾驶车辆了。

摘要

作为自动驾驶汽车软件堆栈的一部分，英伟达创造了全新神经网络的系统 PilotNet，它通过道路情况的图像调整方向盘的角度。PilotNet 通过人类驾驶者操作的数据和道路图像的配对进行训练。它通过观察人类的行为学习必要的知识。这一方式省去了工程师手动输入规则并预先考虑所有安全驾驶情况的过程。道路测试证明了 PilotNet 可以在多种不同的驾驶环境中让汽车安全驾驶，无论道路上是否有画线。

为了解释 PilotNet 是如何学习和作出决定的，我们开发了一种显示 PilotNet 在作出决策时关注图像中哪些区域的可视化工具。结果显示，PilotNet 的确学会了识别道路上的重要物体。

除了画线、道路边缘和其他车辆以外，PilotNet 还学会了工程师们难以进行预先编程的其他特性，如识别乡间小路的边缘，以及识别非典型类别的车辆。

1.Introduction

训练数据是来自数据采集车中的前置摄像机的图像，以及从人类驾驶员记录的时间同步转向角。 PilotNet的动机是消除手编编码规则的需要，而是创建一个通过观察学习的系统。 初步结果令人鼓舞，尽管在不需要人为干预的情况下，需要进行重大改进。 为了深入了解学习系统如何决定要做什么，因此能够进一步改进系统，并建立系统关注安全转向的基本线索的信任，我们开发了一种简单的方法来突出显示图像的那些部分 在确定转向角度方面最为突出。 我们把这些突出的图像部分称为显着对象。 描述我们显着性检测方法的详细报告可以在[3]中找到。

其他作者已经描述了几种发现显着的方法。 其中基于灵敏度的方法[4,5,6]，基于去卷积的方法[7,8]或更复杂的方法，如层次相关传播（LRP）[9]。 我们相信我们的方法的简单性，它在我们的测试车的NVIDIA DRIVETM PX 2 AI汽车电脑上的快速执行，以及其几乎像素级别的分辨率，使其特别有利于我们的任务。