无限阶段平稳马尔科夫过程的求解算法：策略迭代与值迭代

无限阶段的马尔科夫决策过程，相关论文一般比较难，初步总结一下知识点。

若无限阶段的马尔科夫过程为平稳的，那么各阶段的状态转移概率与回报函数都是相同的，这样马尔科夫过程最终会达到一个平稳的状态。（在库存问题中，平稳过程意味着各阶段的随机需求函数相同，收益与成本参数也相同）

按照决策目标，可以分为折扣模型与平均模型。

1. 折扣模型

假设一个马尔科夫过程的最优收益函数为：

$$V_{n+1}(s)=\underset{a}{\max }\left\{\sum _{s^{\prime }}P(s^{\prime }|s,a)\left[(R(s^{\prime }|s,a)+\beta V_n(s^{\prime })\right]\right\}\text{\hspace{1em}(1)}$$

其中，$s$ 表示第 $n+1$ 阶段的当前状态，$a$ 表示第 $n+1$ 阶段的决策，$R(s^{\prime }|s,a)$ 表示在当前状态为 $s$，决策为 $a$，转移到状态 $s^{\prime }$ 时的回报函数，$\beta$ 为折扣因子。而 $P(s^{\prime }|s,a)$ 为转移概率函数。

最大化这个最优收益函数的问题就是折扣模型。若状态和行动的集合都是有限的，一定存在一个最优的平稳策略。

一般有两种求解方法：值迭代（Value iteration）与策略迭代（Policy iteration）。

（策略迭代似乎是最容易理解最常用的）

1.1 策略迭代

• step 1: $n=0$，任取一个初始策略${\mathbf{f}}_0$ (相当于 a 的值有初始值，各阶段的决策组合为一个策略)。

• step 2: 对于每个状态 $s$，给定的策略 $f_n$，都有一个平稳方程：
  $$\sum _{s^{\prime }}P(s^{\prime }|s,a)\left[(R(s^{\prime }|s,a)+\beta V_n(s^{\prime })\right]=V_n(s)$$
  组合成一个方程组，可以求解每个 $V_n(s)$ 的值。

• step 3: 将每个 $V_n(s)$ 的值代入表达式 (1) 中，可以得到一个新的策略 ${\mathbf{f}}_{n+1}$.

• step 4: 若 ${\mathbf{f}}_{n+1}={\mathbf{f}}_n$，停止，${\mathbf{f}}_{n+1}$ 就是最优策略；否则，令 $n=n+1$，返回 step 2 继续迭代。[^1]

《实用马尔可夫决策过程》书中3.4章节的一个例子：

状态空间 $S=1,2$，在状态 1 和 2 的可用行动集 $A(1)=A(2)=1,2$，折扣因子 $\beta =0.9$. 相应的报酬函数和转移概率见下表。

未完待续。

1.2 值迭代

值迭代的算法步骤为：

• step 1: $n=0$，给定的 $ϵ>0$，对于 $s$ 的所有可能状态，任意取值 $V_0(s)$.

• step 2: 将所有的 $V_n(s)$ 代入到表达式 (1) 中，得到所有的 $V_{n+1}(s)$.

• step 3: 所有的 $V_n(s)$ 写成向量形式 ${\mathbf{V}}_n$，所有的 $V_{n+1}(s)$ 写成向量形式 ${\mathbf{V}}_{n+1}$，若
  $$||{\mathbf{V}}_{n+1}-{\mathbf{V}}_n||<\frac{ϵ(1-\beta )}{2\beta }$$
  进入 step 4， 否则令 $n=n+1$，返回 step 2 继续迭代.

• step 4: 对于每个状态 $s$，此时表达式 (1) 中求得的 $a$ 就是对应的最优决策.

2. 平均报酬下的最优方程

若状态空间可数，决策空间有限，则平均报酬下的单链无限阶段马尔科夫过程的最优方程为：

$$g+V_{n+1}(s)=\underset{a}{\max }\left\{\sum _{s^{\prime }}P(s^{\prime }|s,a)\left[(R(s^{\prime }|s,a)+\beta V_n(s^{\prime })\right]\right\}$$

参考资料：¹

---

1. 刘克. 实用马尔可夫决策过程. 清华大学出版社; 2004. ↩︎