强化学习&基础1.7 | 状态价值函数

先创建一个环境，其中左上角的智能体想到达右下角的目标点，每走一步reward为-1，碰到大山为-3，走到目标reward为5
假设我们采取了一个最糟糕的的策略，计算出发点到目标点的累计回报-1-1-1-3-1-1-3+5=-6,此时出发点的值为-6,接下来的数值以此类推

我们可以把每一个方格的值作为价值函数，定义是在每一个状态，它都生成当智能体从该状态开始，然后在所有时间步都遵循这个策略时所获得的回报。公式为

图中公式的每一个标识都很清楚了，状态值函数始终对应特定的策略，如果策略改变状态值函数也改变智能体在追求最优的策略标记为V*，对于在最优策略下的每一个格子的值都大于等于其它策略的值。以下是两个策略的比较π‘为更好的策略。

其中用*表示最优策略