强化学习（2）：Bellman方程

1、状态值函数的计算

1）某个状态的值函数等于该状态下所有状态行为值函数$q_{\pi }(s,a)$的加权和，即：$v_{\pi }(s)=E_{\pi }[{\sum }_{a\in A}\pi (a|s)q_{\pi }(s|a)]$
2）这里的权重就是该状态下采取该行为的概率， 即策略$\pi (a|s)$。

2、状态行为值函数

状态行为值函数等于该状态、该行为执行后的即时奖励（的期望）。加上它所导致的所有下一步状态的折减后状态值函数$v_{\pi }(s)$的加权和。（权重是改状态下，该行为所导致的下一步状态的概率，即状态转移概率矩阵.）

其中：$q_{\pi }(s,a)=R_s^a+\gamma {\sum }_{s^{{}^{\prime }}\in S}{P}_{S{S}^{{}^{\prime }}}^a{v}_{\pi }(s^{{}^{\prime }})$
$R_s^a=E[R_{t+1}|S_t=s,A_t=a]$

Bellman方程其实是$v_{\pi }(s)$和$q_{\pi }(s,a)$自身以及相互之间的递推关系。
状态值函数的递归关系：

$$v_{\pi }(s)=\sum _{a\in A}\pi (a|s)(R_s^a+\gamma \sum _{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a{v}_{\pi }(s^{{}^{\prime }}))$$
状态行为值函数之间的递归关系：

$$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}\sum _{a^{{}^{\prime }}\in A}\pi (a^{{}^{\prime }}|s^{{}^{\prime }}{q}_{\pi }(s^{{}^{\prime }},a^{{}^{\prime }}))$$

根据公式计算$s_4$的状态值函数：
$$v(s_4)=0.5\times (1+0.2\times (-1.3)+0.3\times 2.7+0.4\times 7.4)+0.5\times 10$$

3、最优价值函数

3.1、最优状态值函数

  最优值函数$v_{\ast }(s)$是在从所有策略产生的状态值函数中，选取使状态s价值最大的函数，即：$v_{\ast }(s)=\underset{\pi }{\max }{v}_{\pi }(s)$。

3.2、最优状态行为值函数

  最优状态行为值函数$q^{\ast }(s,a)$为在所有策略中最大的状态-行为值函数，即$q^{\ast }(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)$。