基于q_learning的flappy bird AI

基于q_learning的flappy bird AI

思路来自于这篇文章：机器学习玩转Flappy Bird全书：六大“流派”从原理到代码

有两种思路，一种是单步更新q values，一种是全局更新q values。单步更新就是最基础的q learning算法，在agent每产生一个action之后，根据state、action以及next state更新。全局更新是Flappy Bird Bot using Reinforcement Learning in Python这个作者的想法。

我用python实现了单步更新，但是在训练次数达到几百上千次后，发散了。

全局更新基本上属于将Flappy Bird Bot using Reinforcement Learning in Python的python代码用pandas重写了一下。区别之处可能就在于我没有先去生成一个全零的q矩阵。而是在每次碰到新的状态后再写入q矩阵中。最后的状态数量更少，也就是说明初始化的q阵中存在一些永远也用不上的状态。

作者的代码我跑出来的结果：

我的代码在$10 \times 10$的网格下的结果：

在