【入门教程】TensorFlow 2 模型：深度强化学习

文 /  李锡涵，Google Developers Expert

本文节选自《简单粗暴 TensorFlow 2》

本文将介绍在 OpenAI 的 gym 环境下，使用 TensorFlow 实现 Q-learning 算法，从而玩倒立摆游戏的流程。

 

深度强化学习 (DRL)

强化学习 （Reinforcement learning，RL）强调如何基于环境而行动，以取得最大化的预期利益。结合了深度学习技术后的 强化学习（Deep Reinforcement learning，DRL）更是如虎添翼。近年广为人知的 AlphaGo 即是深度强化学习的典型应用。

这里，我们使用深度强化学习玩 CartPole（倒立摆）游戏。倒立摆是控制论中的经典问题，在这个游戏中，一根杆的底部与一个小车通过轴相连，而杆的重心在轴之上，因此是一个不稳定的系统。在重力的作用下，杆很容易倒下。而我们则需要控制小车在水平的轨道上进行左右运动，以使得杆一直保持竖直平衡状态。

cartpole 游戏

 

我们使用 OpenAI 推出的 Gym 环境库 中的 CartPole 游戏环境，可使用pip install gym进行安装，具体安装步骤和教程可参考 官方文档 和 这里 。和 Gym 的交互过程很像是一个回合制游戏，我们首先获得游戏的初始状态（比如杆的初始角度和小车位置），然后在每个回合 t，我们都需要在当前可行的动作中选择一个并交由 Gym 执行（比如向左或者向右推动小车，每个回合中二者只能择一），Gym 在执行动作后，会返回动作执行后的下一个状态和当前回合所获得的奖励值（比如我们选择向左推动小车并执行后，小车位置更加偏左，而杆的角