GTAV智能驾驶源码详解（一）——制作数据集

项目介绍

场景足够丰富，操作足够简单，有大量的交通工具和驾驶视角可供选择，游戏《Grand Theft Auto 5》是一个相对廉价且适合初级人工智能探索的自动驾驶试验场。

本AI（暂且称之为ScooterV2）借鉴了美国死宅Harrison Kinsley的Charles方案，只使用截图捕捉的画面以模拟摄像头数据作为AI的输入，并没有真实的智能驾驶所涉及的传感器与雷达数据。AI的决策过程目前只停留在CNN（AlexNet）对单张图片进行分类选择操作的阶段，尚未引入记忆，无法处理时间序列数据，因而相比于引入循环神经网络，目前的ScooterV2任然需要大量的数据进行fit训练（目前已完成的ScooterV3采用了强化学习，不需要任何训练数据集，但是由于驾驶场景过于复杂，尚未设计出完美的奖励机制，虽然降低了训练成本但是效果不如目前的V2版本）。

但由于机能限制和存储能力限制（其实是因为不想花太多训练时间，以及经常改方案、丢数据、丢模型），ScooterV2相对于Charles做了一些简化：

Charles的驾驶载体为民用车（GTA5抢劫神车Kuroma装甲轿车），视角为引擎盖视角（为了模拟真实的摄像头），设计目标为保证在当前道路上保持车道行驶的同时尽量避开障碍物（由于Kuroma装甲车速度很快，避开障碍物主要以变道的形式完成），且仿制出了许多真实的智能驾驶模块（前碰撞预警、障碍物探测、行人检测）。

我做的ScooterV2驶载体为摩托车（DoubleT），视角为第三人称视角（为了看到更大的场景区域，为了捕捉到的车道线斜率范围更大，期望以更小的样本量在更少的时间训练出足够好的效果），设计目标为在当前道路上保持车道行驶（使用Mod屏蔽了所有交通和行人），且没有设计其他模块（由于机能限制，串联其它CNN模块会成倍增加单帧处理时间，使得模型的测试效果不美观）。

模型的训练分为三个部分：

1. 数据集制作：监督式学习&#x