论文阅读--End-To-End Training and Testing Gamification Framework to Learn Human Highway Driving

研究目的

本研究旨在开发一种基于游戏的端到端学习和测试框架，用于学习人类在高速公路上的驾驶技能，以提高自动驾驶汽车的性能。研究团队利用流行的游戏《侠盗猎车手V》（GTA V）来收集高速公路驾驶数据，并训练一个端到端的神经网络模型来预测车辆的转向和油门值。

创新性

1. 提出了一种新颖的游戏化框架，用于端到端学习自动驾驶汽车的高速公路驾驶。
2. 利用GTA V游戏中的数据来模拟人类驾驶行为，这是一种成本效益高且相对安全的方法。
3. 通过虚拟控制器将预测的控制值发送回游戏，实现了一个闭环控制系统。

方法

• 数据收集：使用GTA V游戏收集驾驶数据，包括屏幕截图和用户控制输入。
• 神经网络训练：采用端到端学习方法训练两个神经网络（Nvidia的端到端网络架构和VGG-19架构）。
• 转移学习：使用预训练的VGG-19模型，冻结卷积层的权重，仅训练全连接层以预测转向和油门值。
• 数据增强：对收集的图像进行预处理和增强，如裁剪、翻转和调整亮度。

技术路线

1. 数据收集：通过游戏屏幕截图和用户控制输入收集数据。
2. 训练：使用收集的数据训练神经网络模型。
3. 推理：将训练好的模型应用于游戏环境中，以预测车辆的控制动作。

研究结果

• VGG-19模型：在训练中表现更好，