深度强化学习（DRL）算法 附录 2 —— 策略迭代和价值迭代

马尔可夫决策过程（MDP）

马尔可夫链（具有马尔可夫性质的随机过程）+ A（动作：会导致状态转移） + R（奖励：衡量动作的好坏）

动态特性

定义如下概率：

$p(s^{\prime },r|s,a)\triangleq P(S_{t+1}=s^{\prime },R_{t+1}=r|S_t=s,A_t=a)$

那么状态转移概率（系统自身）：

$p(s^{\prime }|s,a)={\sum }_{r\in R}p(s,r|s,a)$

策略表示（Policy)

策略：$\pi$

确定性策略：$a\triangleq \pi (s)$

随机性策略：$\pi (a|s)\triangleq P(A_t=a|S_t=s)$

回报

用来评估在 $s_t$ 时刻的策略的好坏，我们定义在 $s_t$ 时刻的回报为：

$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...,\gamma \in [0,1]$

价值函数

回报的期望就是价值函数，通俗的说就是回报的平均数（因为从 s 出发的路径会像树枝一样散开）
state-value:
$v_{\pi }(s)=E[G_t\mid S_t=s]$

action-value:
$q_{\pi }(s,a)=E[G_t|S_t=s,A_t=a]$

state-value 和 action-value 的关系：
$v_{\pi }(s)={\sum }_a\pi (a\mid s)q_{\pi }(s,a)$ (如果 $\pi$ 是确定性策略，两个值相等) (1)

$q_{\pi }(s,a)={\sum }_{r,s^{\prime }}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$
(2)

贝尔曼期望方程

即把（2）带入（1），把 （1）带入（2）产生的两个等式
得到 v(s) 和 v(s‘）以及 q(s,a) 和 q(s’, a’) 的关系，这就是贝尔曼方程的核心思想。

贝尔曼最优方程

最优价值函数：

$v_{\ast }\triangleq ma{x}_{\pi }{v}_{\pi }(s)$

$q_{\ast }(s,a)\triangleq ma{x}_{\pi }{q}_{\pi }(s,a)$

最优策略：
${\pi }_{\ast }\triangleq argma{x}_{\pi }{v}_{\pi }(s)$ = $argma{x}_{\pi }{q}_{\pi }(s,a)$
由（1）（2）知：

$v_{\ast }=ma{x}_{\pi }{q}_{\pi }(s,a)$
（3）

$q_{\ast }={\sum }_{r,s^{\prime }}p(s^{\prime },r|s,a)[r+\gamma v_{\ast }(s^{\prime })]$
(这里不能把求和替换成 max 的原因是，我们只能让 v* 最优，因为 p 由系统决定，我们无法决定）（4）即把（3）带入（4），把 （4）带入（3）产生的两个等式
和贝尔曼方程一样，得到 v*(s) 和 v*(s‘）以及 q*(s,a) 和 q*(s’, a’) 的关系，这就是贝尔曼最优方程的核心思想。

策略迭代

在 MDP 已知的情况下

策略评估（PE）

知道 pi，我们需要评估出对应的 v 和 q 值。

• 解析解
  使用线性代数的方式解线性方程组：V = R +$\gamma$P V
• 迭代解
  因为贝尔曼期望方程是不动点方程，所以可以迭代求解。
  vk -> vk+1，k->$\infty$，一直迭代下去，可以收敛。

策略改进（PI）

根据 v 和 q ，我们构造出 pi’ 优于 pi。

• 策略改进定理
  给定 pi,pi’，如果 $\forall s\in S$ ，有 $q(s,{\pi }^{\prime }(s))\ge v_{\pi }(s)$ ，那么则有 $ ∀s∈S$ ， $v_{{\pi }^{\prime }}(s)\ge v_{\pi }(s)$ 。
• 贪心策略
  ${\pi }^{\prime }(s)=argma{x}_a{q}_{\pi }(s,a)$（满足策略改进定理）
  所以 pi -> PE -> q（或者 v） -> PI -> pi’ 一直循环下去，就可以得到 v*。
  

价值迭代

PE 只进行一步的策略迭代。

异步价值迭代

PE 和 PI 不是先后顺序，比如 V 里面的一个值更新了一步，没有等到其他 v 更新，就直接进行 PI 了。

参考

1. 阿姆姆姆姆姆姆姆：深度强化学习（DRL）算法 附录1 —— 贝尔曼公式
2. https://www.bilibili.com/medialist/play/97068901?from=space&business=space_series&business_id=594040&desc=1&spm_id_from=333.999.0.0
3. http://incompleteideas.net/book/RLbook2020.pdf