用深度强化学习玩FlappyBird

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

摘要：学习玩游戏一直是当今AI研究的热门话题之一。使用博弈论/搜索算法来解决这些问题需要特别地进行周密的特性定义，使得其扩展性不强。使用深度学习算法训练的卷积神经网络模型（CNN）自提出以来在图像处理领域的多个大规模识别任务上取得了令人瞩目的成绩。本文是要开发一个一般的框架来学习特定游戏的特性并解决这个问题，其应用的项目是受欢迎的手机游戏Flappy Bird，控制游戏中的小鸟穿过一堆障碍物。本文目标是开发一个卷积神经网络模型，从游戏画面帧中学习特性，并训练模型在每一个游戏实例中采取正确的操作。本文综述了基于深度学习的卷积神经网络模型在模式识别（图像识别）中的应用，主要从典型的网络结构的构建、训练方法和性能表现3个方面进行介绍。

• 简介及问题定义
• 相关工作与实现方法
• Q学习算法
• 实验与结果

---

1. 前言

作为深度强化学习的一个很好的入门学习教程，用深度强化学习玩FlappyBird这个示例一直是个很火的代码，网上也有不少的文章介绍。不过其大多从代码角度介绍，如果需要输入了解其理论与原理我们则需要更多论文资料。这里我翻译整理了相关论文并加入些自己的理解写在这篇博文中，详细可参考论文Deep Reinforcement Learning for Flappy Bird，具体关于深度强化学习的代码介绍将在后面的博文中介绍。

---

2. 简介及问题定义

FlappyBird是一款游戏，玩家控制的对象是游戏中的“小鸟”，在游戏运行瞬间有两个可以采取的动作：按下“上升”键，使得小鸟向上跳跃，而未按下任何按键时小鸟则以恒定速率下降。

如今，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，使得机器学习模型可以直接学习概念，如直接从原始图像数据进行物体类别分类。深层卷积神经网络采用平铺分层卷积滤波器层来模拟视野接受域的影响，在处理计算机视觉问题上，如分类和检测问题，获得了很大成功。本文目的是开发一个深层神经网络模型，具体地，是利用图像中的不同对象训练卷积神经网络，进行基于游戏画面场景状态分析进行图像识别分类。从原始像素中学习游戏的特性，并决定采取相应行动，本质上是一个对游戏场景中特定状态的模式识别过程，在此设计了一个强化学习系统，通过自主学习来玩这款游戏。

当通过很少预定的行为进行编程不能充分解决问题时，可采用强化学习方式，这是一种通过进行场景训练，使算法在输入未知和多维数据（如彩色图片）时做出正确的决策方式。通过这种方式，可以进行在线学习，而且算法可以学会自动对图像进行特征提取，对于训练中未出现的场景和状态也同样可以进行分类和预测。

图1.FlappyBird游戏

---

3. 相关工作与实现方法

3.1 相关工作

谷歌DeepMind利用深度学习技术玩游戏的影响，为从一个完全不同的视角去看待人工智能问题铺平了道路。其最新成果人工智能AlphaGo，在其与围棋大师的激烈竞争中向人们展示了深度学习的巨大潜力。DeepMind以前仅仅根据游戏原始图片就能学习和玩2600种雅达利游戏。Mnih等人，使用强化学习成功训练玩这些游戏的模型，在多种游戏[1]，[2]中超过了人类专家级别。他们提出了一种新的模型，即结合了深层神经网络的强化学习的深度Q网络（DQN）模型，以深层神经网络作为近似函数代表Q学习中的Q值（动作值）。他们还论述了一些提高训练效率和稳定性的技术，使用以前经验的“经验回放”，从中随机抽取小批量来更新网络，以便将模型得到的经验和延迟更新联系起来，从而获得目标值（稍后详细介绍）以提高稳定性。该通道的另一个优点是完全无需标记的数据ÿ