贝尔曼方程推导[1]

前言

由于公式太长，写在一个文章里面看得云里雾里，所以分开写，本文中将直接使用推导好的动作价值函数与状态价值函数，关于如何推出来的表达式，请参考：深度强化学习总结

动作、状态、奖励序列

$$s_t,a_t,r_t(s_t,a_t),s_{t+1},a_{t+1},r_{t+1}(s_{t+1},a_{t+1}),\cdots ,s_{t+n},a_{t+n},t_{t+n}(s_{t+n},a_{t+n})$$

动作价值函数

当我们采取某个动作以后，可能的轨迹序列有多条，如何评价这个动作的价值，不能只选取某一条轨迹的价值作为评价，而应该是选择所有轨迹的均值作为评价。所以我们
首先计算在初始动作和状态已知的情况下一种可能轨迹序列所带来的回报及对应的概率。我把这种单次特定序列下的回报函数记为：
$$U(a_t|s_t,f_a,f_r,f_t)=[r_t(s_t,a_t)+\gamma r_{t+1}(s_{t+1},a_{t+1})+\cdots +{\gamma }^n{r}_{t+n}(s_{t+n},a_{t+n})]$$

对应的概率为：
$$P(s_{t+1}|s_t,a_t)\ast P(a_{t+1}|s_{t+1})\ast \cdots \ast P(a_{t+n}|s_{t+n})$$

而某个动作的价值就是所有的可能轨迹序列所对应的回报的均值，所以需要求出所有可能的轨迹序列所对应的回报的期望：
$$\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}[r_t(s_t,a_t)+\gamma r_{t+1}(s_{t+1},a_{t+1})+\cdots +{\gamma }^n{r}_{t+n}(s_{t+n},a_{t+n})]\ast [P(s_{t+1}|s_t,a_t)\ast P(a_{t+1}|s_{t+1})\ast \cdots \ast P(a_{t+n}|s_{t+n})]$$

因为是在一定状态下对于某个动作的期望回报，涉及的变量一共包括策略函数$f_a$，奖励函数$f_r$，转移函数$f_t$，以及动作和状态。所以我们选择$V(a_t|f_a,f_r,f_t,s_t)$来表示这个动作所对应的价值。
我用$V(a_t|f_a,f_r,f_t,s_t)$表示对所有特定的序列求均值所得到的均值回报函数，也就是==$U$表示单次，$V$表示均值==：
$$\begin{array}{rl}V(a_t|f_a,f_r,f_t,s_t)& =\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}[r_t(s_t,a_t)+\gamma r_{t+1}(s_{t+1},a_{t+1})+\cdots +{\gamma }^n{r}_{t+n}(s_{t+n},a_{t+n})]\ast [P(s_{t+1}|s_t,a_t)\ast P(a_{t+1}|s_{t+1})\ast \cdots \ast P(a_{t+n}|s_{t+n})]\\ & =\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}U(a_t|s_t,f_a,f_r,f_t)\ast P(s_{t+1}|s_t,a_t)\ast P(a_{t+1}|s_{t+1})\ast \cdots \ast P(a_{t+n}|s_{t+n})\end{array}$$

最优策略函数下的最大动作价值函数

$$\begin{array}{rl}V(a_t|f_a^{\ast },f_r,f_t,s_t)& =\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}[r_t(s_t,a_t)+\gamma r_{t+1}(s_{t+1},a_{t+1})+\cdots +{\gamma }^n{r}_{t+n}(s_{t+n},a_{t+n})]\ast [P(s_{t+1}|s_t,a_t)\ast P^{\ast }(a_{t+1}|s_{t+1})\ast \cdots \ast P^{\ast }(a_{t+n}|s_{t+n})]\\ & =\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}U(a_t|s_t,f_a,f_r,f_t)\ast [P(s_{t+1}|s_t,a_t)\ast P^{\ast }(a_{t+1}|s_{t+1})\ast \cdots \ast P^{\ast }(a_{t+n}|s_{t+n})]\end{array}$$

状态价值函数

状态价值函数也是同样，同一个状态可能有多条轨迹，我们评价状态的价值不能只选择一条路径上的价值而应该考虑所有路径上的价值，所以就是所有路径上价值的期望价值。
首先求出在初始状态给定的情况下一条可能的轨迹序列所对应的回报与概率：
$$U(s_t|f_a,f_r,f_t)=[r_t(s_t,a_t)+\gamma r_{t+1}(s_{t+1},a_{t+1})+\cdots +{\gamma }^n{r}_{t+n}(s_{t+n},a_{t+n})]$$

以上就是在给定策略函数，奖励函数，状态转移函数的情况下一条特定序列的回报函数。

对应的概率为：
$$[P(a_t|s_t)\ast P(s_{t+1}|s_t,a_t)\ast P(a_{t+1}|s_{t+1})\ast \cdots \ast P(a_{t+n}|s_{t+n})]$$

然后求出所有可能的轨迹序列所对应的回报与概率的加权和：
$$\sum _{a_t}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}[r_t(s_t,a_t)+\gamma r_{t+1}(s_{t+1},a_{t+1})+\cdots +{\gamma }^n{r}_{t+n}(s_{t+n},a_{t+n})]\ast [P(a_t|s_t)\ast P(s_{t+1}|s_t,a_t)\ast P(a_{t+1}|s_{t+1})\ast \cdots \ast P(a_{t+n}|s_{t+n})]$$

同样，我们也分析一下这个值与什么有关，与策略函数$f_a$，奖励函数$f_r$，转移函数$f_t$，初始状态有关。用$V(s_t|f_a,f_r,f_t)$来表示它。也就是：
$$\begin{array}{rl}V(s_t|f_a,f_r,f_t)& =\sum _{a_t}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}[r_t(s_t,a_t)+\gamma r_{t+1}(s_{t+1},a_{t+1})+\cdots +{\gamma }^n{r}_{t+n}(s_{t+n},a_{t+n})]\ast [P(a_t|s_t)\ast P(s_{t+1}|s_t,a_t)\ast P(a_{t+1}|s_{t+1})\ast \cdots \ast P(a_{t+n}|s_{t+n})]\\ & =\sum _{a_t}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}U(s_t|f_a,f_r,f_t)\ast [P(a_t|s_t)\ast P(s_{t+1}|s_t,a_t)\ast P(a_{t+1}|s_{t+1})\ast \cdots \ast P(a_{t+n}|s_{t+n})]\end{array}$$

也就是状态的价值函数也是所有轨迹价值函数的均值，最优策略影响的只不过是各条轨迹出现的概率也就是各种回报出现的概率。

最优策略函数下的最大状态价值函数

$$\begin{array}{rl}V(s_t|f_a^{\ast },f_r,f_t)& =\sum _{a_t}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}[r_t(s_t,a_t)+\gamma r_{t+1}(s_{t+1},a_{t+1})+\cdots +{\gamma }^n{r}_{t+n}(s_{t+n},a_{t+n})]\ast [P^{\ast }(a_t|s_t)\ast P(s_{t+1}|s_t,a_t)\ast P^{\ast }(a_{t+1}|s_{t+1})\ast \cdots \ast P^{\ast }(a_{t+n}|s_{t+n})]\\ & =\sum _{a_t}\sum _{a_{t+1}}\cdots \sum _{a_{t+n}}\sum _{s_{t+1}}\cdots \sum _{s_{t+n}}U(s_t|f_a,f_r,f_t)\ast [P^{\ast }(a_t|s_t)\ast P(s_{t+1}|s_t,a_t)\ast P^{\ast }(a_{t+1}|s_{t+1})\ast \cdots \ast P^{\ast }(a_{t+n}|s_{t+n})]\end{array}$$

参考文献

• 深度强化学习（张志华，王树森）