python俄罗斯方块实训报告_俄罗斯方块强化学习实验报告

一、俄罗斯方块DQN算法实验报告

1.网络结构

图1 DQN网络结构

2.超参数

GAMMA =0.99# decay rate of past observations设置增强学习更新公式中的累计折扣因子OBSERVE =500.# timesteps to observe before training设置观察期的迭代次数EXPLORE =500.# frames over which to anneal epsilon设置探索期的观察次数FINAL_EPSILON =0.002# final value of epsilon设置ε的最终最小值INITIAL_EPSILON =10.0# starting value of epsilon设置ε的初始值REPLAY_MEMORY =5900# number of previous transitions to remember设置replay memory的容量BATCH =32# size of mini batch设置每次网络参数更新世用的样本数目K =1# only select an action every Kth frame, repeat prev for others，设置几帧图像进行一次动作，# K越大让控制台输出的速度变慢，游戏画面速度变快，机器人动作的速度变越迟缓。

ACTIONS =6# number of valid actions游戏动作数

3.实验结果

训练前期的self.score分数很低150左右，EPSILON=1.0，Q_MAX=2.061341e-02：