无人驾驶车辆模型预测控制配套代码_[无人驾驶]CNN可视化：解释你的驾驶脑

本文是一个无人驾驶的例子，我们将会看到深度学习的可视化在实际工作中的应用。

在无人驾驶中，很经常的，我们会训练一个神经网络模型，这个神经网络会告诉车辆应该如何进行行驶。这样一种方式，被称为端到端无人驾驶。这一方法下训练出来的神经网络，在输入端接收前方摄像头的图像，在输出端产生对车辆的控制指令，比如油门、刹车和方向盘转角。神经网络的强大功能，能实现从输入到输出的直接映射，而省去了很多手工设计规则的繁琐。所以，端到端的无人驾驶，毫无疑问是充满了吸引力的。但从另一个角度来说，在路上行驶的汽车，可是实实在在涉及到生命安全的任务。神经网络固然强大，可是如果你说，车辆所赖以行驶的网络是个一无所知的黑箱，我们并不知道网络看到了什么，通过什么信息做出了这样的决策，而只是给出一个结果，这显然是不能叫人安心的。

所以，我们就必须依靠可视化，来了解网路内部的工作机理。我们需要可视化，来告诉我们，我们训练出来的模型，是否能够识别输入图像中对驾驶“有意义”的物体或道路特征、忽略与驾驶无关的结构信息，并由此作出对策。做到了这一点，才算得上是一个合格的无人驾驶模型。

本节的内容基于英伟达的论文：Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car。我们将看到无人驾驶工作者是如何使用可视化帮助他们的任务的。本节不涉及论文中具体的可视化算法和代码，感兴趣的读者可以参考原论文。

在英伟达的无人驾驶中，已经有了一个训练好的神经网络，这个神经网络输入图像，输出车辆方向盘转角。现在，工作人员想要知道这个神经网络对于输入图像的关注点在哪里，这就涉及到了网络的可视化，最好的办法是，找到输入图像的显著区域（saliency map）。在英伟达的可视化方法中，他们找到了网络中每一层的特征图中具有最大激活值的区域，这一些区域反映了输入图像中的显著性。这些显著区域被高亮了起来，并和原始输入图像叠在了一起，这就有了下图的可视化结果。

输入图像中的“显著”部分

从可视化的结果看，对于不同的输入图像，这个神经网络标示的显著区域包括了车道线、前方车辆和路沿。这些都是开车过程中应该关注的点。这是一个很好的可视化结果，这告诉了我们，训练出来的卷积神经网络关注到了我们希望它关注的部分。

但是，接下来的问题就是，这些显著区域，即神经网络所关注的物体和部分，是否直接影响了网络的输出？也就是说，我们已然知道卷积神经网络“看到了”物体，那么，网络是否是根据这些关注到的物体做出的决策呢？可视化中，显著性比不一定代表相关性，我们还需要进一步的实验，以建立显著区域和输出转向角之间的直接关系。

用于证明显著区域对方向盘输出直接影响的实验

所以，英伟达同样也为建立这一联系而做了实验。上图中，从上往下，第一张图是原始图像；第二张图是可视化方法下的显著区域，可以看到这是车道线的一部分；第三张图将显著区域单独列了出来；第四张图中，则将显著区域做了轻微的位移，所以这张图像中的车道线不是笔直的，正是因为其中的显著区域被移动了。

使用这样的方式改动图像，我们将以下三类图像输入模型，并观察输出的方向盘转角的变化：

1） 移动整个图像；

2） 移动图像中的显著部分；

3） 移动图像的背景部分，即非显著部分。

这一实验代表了图像信息影响方向盘转角的贡献度，而最后的实验结果表明，2）引起的方向盘转角的变化，和1）的程度是不相上下的，而3）对方向盘转角的影响就不算很大。所以，现在我们可以很自信的说，网络所关注的物体和方向盘转角是有直接关系的。网络学习到了开车过程中应该关注的物体和区域，并使用这些关注点来做出了决策。

无人驾驶使用可视化的工作场景

毫无疑问，这一套可视化工具，相当于无人驾驶神经网络的解释器，所以，在无人驾驶的工作中，也充分利用了这一可视化工具。在测试模型时，无人车上的交互界面不但显示摄像头所看到的图像、输出的方向盘转角，也同时显示了模型所关注的显著区域，这一可视化工具和无人驾驶的神经网络相辅相成，有效的提升了无人驾驶工作中的安全性和合理性。

虽说深度学习的一大特点就是其黑箱性，但是，作为一个深度学习算法工程师，你总有需要向人解释你的神经网络的时候，这个时候可视化就是你的好帮手。而可视化还有诸多好处，总结起来就是：

1. 帮助我们理解模型是怎样工作的；

2. 帮助我们找到改进模型的方向；

3. 可解释的模型有更好的说服力。

所以，相信我，你总会有用到它的时候。