强化学习实践一 ：迭代法评估4*4方格世界下的随机策略

本篇用代码演示David Silver《强化学习RL》第三讲 动态规划寻找最优策略中的示例——方格世界，即用动态规划算法通过迭代计算来评估4*4方格世界中的一个随机策略。具体问题是这样：

已知（如上图）：

• 状态空间 S：为非终止状态；，终止状态，图中灰色方格所示两个位置；
• 行为空间 A：{n, e, s, w} 对于任何非终止状态可以有向北、东、南、西移动四个行为；
• 转移概率 P：任何试图离开方格世界的动作其位置将不会发生改变，其余条件下将100%地转移到动作指向的位置；
• 即时奖励 R：任何在非终止状态间的转移得到的即时奖励均为-1，进入终止状态即时奖励为0；
• 衰减系数 γ：1；

• 当前策略π：个体采用随机行动策略，在任何一个非终止状态下有均等的几率往任意可能的方向移动，即π(n|•) = π(e|•) = π(s|•) = π(w|•) = 1/4。

问题：评估在这个方格世界里给定的策略。

该问题等同于：求解该方格世界在给定策略下的（状态）价值函数，也就是求解在给定策略下，该方格世界里每一个状态的价值。

我们使用Python编写代码解决该问题。

• 声明状态

S = [i for i in range(16)]

• 声明行为空间

A = ['n','e', 's', 'w']

• 结合方格世界的布局特点，简易声明行为对状态的改变

ds_actions = {"n": -4, "e": 1, "s": 4, "w": -1}

• 环境动力学

模拟小型方格世界的环境动力学特征：
 

Args:

    s 当前状态int 0 - 15
    a 行为 str in ['n','e','s','w'] 分别表示北、东、南、西

Returns: tuple (s_prime, rew