强化学习入门 第二讲 基于模型的动态规划方法
https://zhuanlan.zhihu.com/p/25580624
其中的举例:
的理解为:
时刻k=2时,状态1的价值,等于:
π_2(状态1)
= π(向东|状态1) * ( 状态1的回报 + //-1
衰减因子 * (状态1下,执行向东,变成状态0的概率 * 时刻k=1时,状态0的回报) + //概率为0
衰减因子 * (状态1下,执行向东,变成状态1的概率 * 时刻k=1时,状态1的回报) + //概率为0
衰减因子 * (状态1下,执行向东,变成状态2的概率 * 时刻k=1时,状态2的回报) + //概率为1, k=1时,状态2的回报是-1
...
)
+ π(向南|状态1) * ( 状态1的回报 + //-1
衰减因子 * (状态1下,执行向南,变成状态0的概率 * 时刻k=1时,状态0的回报) + //概率为0
衰减因子 * (状态1下,执行向南,变成状态1的概率 * 时刻k=1时,状态1的回报) + //概率为0
衰减因子 * (状态1下,执行向南,变成状态2的概率 * 时刻k=1时,状态2的回报) + //概率为0
...
衰减因子 * (状态1下,执行向南,变成状态5的概率 * 时刻k=1时,状态5的回报) + //概率为1, k=1时,状态5的回报是-1
...
)
+ π(向北|状态1) * ( 状态1的回报 + //-1
衰减因子 * (状态1下,执行向北,变成状态0的概率 * 时刻k=1时,状态0的回报) + //概率为0
衰减因子 * (状态1下,执行向北,变成状态1的概率 * 时刻k=1时,状态1的回报) + //概率为1, 因为向北撞墙,所以还是回到状态1,k=1时,状态1的回报是-1
衰减因子 * (状态1下,执行向北,变成状态2的概率 * 时刻k=1时,状态2的回报) + //概率为0
...
)
+ π(向西|状态1) * ( 状态1的回报 + //-1
衰减因子 * (状态1下,执行向西,变成状态0的概率 * 时刻k=1时,状态0的回报) + //概率为1, k=1时,状态0不属于网格世界(或称为属于终止状态),认为状态0的回报是0
衰减因子 * (状态1下,执行向西,变成状态1的概率 * 时刻k=1时,状态1的回报) + //概率为0
衰减因子 * (状态1下,执行向西,变成状态2的概率 * 时刻k=1时,状态2的回报) + //概率为0
...
)
= 0.25*(-1 + 1*(1*-1)) + 0.25*(-1 + 1*(1*-1)) + 0.25*(-1 + 1*(1*-1)) + 0.25*(-1 + 1*(1*0))
= 0.25*(-1 -1) + 0.25*(-1 -1) + 0.25*(-1 -1) + 0.25*(-1 -0)
小结:如下状态价值函数公式的理解为:
时刻k+1下,状态s的价值为:
状态s下,执行动作a的概率 *
(状态s的即时回报(时刻k) * 衰减因子*
(执行a,变为状态s1的概率 * 时刻k下,s1的价值 + 执行a,变为状态s2的概率 * 时刻k下,s2的价值))
以此类推。 参考前面的举例来进行描述。 这里后续再整理一下。
其他课程:
Sutton教材《强化学习》
教材:http://incompleteideas.net/book/RLbook2018.pdf
课程代码:https://github.com/ShangtongZhang/reinforcement-learning-an-introduction
补充资料
https://github.com/dennybritz/reinforcement-learning