值迭代、策略迭代

值函数

策略: 状态s到动作a的映射：$\pi:S\rightarrow A$
值函数：值函数都是对应于特定的策略的，即$V^\pi$
对于策略$\pi$，状态s的值函数：

$V^\pi(s)=E[R(s_0)+\gamma R(s_1)+\gamma^2 R(s_2)+...|s_0=s,\pi].$

也可表示为Bellman形式，是一种迭代思想：

$V^\pi(s)=R(s)+\gamma\sum \limits_{s'\in S} P_{s\pi (s)} (s')V^\pi (s').$

其中$P_{s\pi (s)} (s')$ 表示对应于策略 $\pi$ 的状态转移概率，即从s转到s’的概率

最优的值函数

对于某状态s的最优值函数用$V^*(s)$
定义如下：
$V^*(s)=\max \limits _\pi V^\pi(s).$
由上式可知，最优的策略$\pi$对应最优的值函数、

写成Bellman方程就是：

$V^*(s)=R(s)+\max\limits_{a\in A} \gamma\sum\limits_{s'\in S}P_{sa}(s')V^*(s').$

最优的策略

用$\pi ^*$表示
在某一状态s下的最优策略定义如下：

$\pi ^*(s)=\arg\max\limits_{a\in A}\sum\limits_{s'\in S}P_{sa}(s')V^*(s').$

值迭代

策略迭代

其中$V:=V^\pi$的计算可根据第一节值函数的定义计算