马尔可夫决策过程

1. 马尔可夫决策过程

马尔可夫决策过程不过是引入"决策"的马氏过程.
P i j ( a ) = P { X n + 1 = j ∣ X 0 , a 0 , X 1 , a 1 , . . . , X n = i , a n = 1 } = P { X n n + 1 = j ∣ X n = i , a n = a } \begin{split} P_{ij}(a) &= P\{X_{n+1} = j|X_0, a_0, X_1, a_1, ..., X_n = i, a_n = 1\} \\ &=P\{X_n{n+1} = j|X_n = i, a_n = a\} \end{split} Pij​(a)​=P{Xn+1​=j∣X0​,a0​,X1​,a1​,...,Xn​=i,an​=1}=P{Xn​n+1=j∣Xn​=i,an​=a}​
状态转移家族很取决于$X_n$和$a_n$.

引入"随机化"的策略(policy)----------$\vec{\beta }$, 就是所谓的"因时制宜".
β ⃗ = { β i ( a ) ,   a ∈ A , i = 1 , 2 , . . . M } \vec{\beta} = \{\beta_i(a),\ a\in A, i = 1,2,...M \} β ​={βi​(a), a∈A,i=1,2,...M}
$A$表示行动集, "智能体"从行动集中选取其中一个元素/行动.
对于某个特定的${\beta }_i(a)$, 其意义为: 在状态$i$下, 选取行动$a$的概率.
易知
$$\{\begin{array}{ll}0\le {\beta }_i(a)\le 1& \forall i,a\\ \sum _a{\beta }_i(a)=1& \forall i\end{array}$$
所以对于某个策略$\vec{\beta }$下的MDP, 相应的状态转移概率可以表示如下:
P i j ( β ⃗ ) = P β ⃗ { X n + 1 = j ∣ X n = i } = ∑ a P i j ( a ) β i ( a ) \begin{split} P_{ij}(\vec{\beta}) &= P_{\vec{\beta}}\{X_{n+1} = j|X_n = i\} \\ &=\sum \limits_a P_{ij}(a)\beta_i(a) \end{split} Pij​(β ​)​=Pβ ​​{Xn+1​=j∣Xn​=i}=a∑​Pij​(a)βi​(a)​

从这一状态转移概率的表达式, 可以很清楚地看到MDP和MP的不同:
马氏链的状态转移概率是一个单纯的数, 而MDP的状态转移概率不仅有一个"策略"的前提, 而且是一个加权和, 一个不同行动下, i到j的状态转移概率的加权和, 权重就是( 给定策略$\vec{\beta }$下 )选取行动$a$的概率${\beta }_i(a)$.
假设对于任意的策略$\vec{\beta }$, 所导致的马氏链 { X n , n = 0 , 1 , . . . } \{X_n, n=0,1,...\} {Xn​,n=0,1,...}都是各态历经的(ergodic).
下面我们来证明MDP中最重要的一个命题.
对于任意策略$\vec{\beta }$, 记${\pi }_{ia}$为, “给定策略$\vec{\beta }$下, 稳态情形时$(n\to \infty )$MDP既处于状态$i$又采取了行动$a$的概率”, 即
π i a = lim ⁡ n → ∞ P β ⃗ { X n = i , a n = a } \pi_{ia} = \lim _{n\rightarrow \infin} P_{\vec{\beta}}\{X_n = i, a_n = a\} πia​=n→∞lim​Pβ ​​{Xn​=i,an​=a}
易知$\vec{\pi }=({\pi }_{ia})$是一个类似表示概率分布的东西(分布向量或者分布矩阵), 而且对于$\vec{\pi }$, 必须满足:
$$\{\begin{array}{l}{\pi }_{ia}\ge 0,\forall i,a\\ \sum _i\sum _a{\pi }_{ia}=1\\ \sum _a{\pi }_{ja}=\sum _i\sum _{a^{\prime }}{\pi }_{i{a}^{\prime }}{P}_{ij}(a^{\prime })\forall j\end{array}$$
三个条件对应的方程, 其物理含义都是显然的, 其中, 第三个条件方程的左边代表稳态时MDP处于状态$j$的概率, 而等式右边则是状态$j$对应的"切面包定理".
因此, 我们我们可以说, 在MDP中, 对于任意一个策略$\vec{\beta }$, 都会存在某个满足上述三个条件的概率分布向量$\vec{\pi }$.
但是, 反过来也是成立的:
$$\begin{array}{rl}& 对于任意一个(二维)概率分布向量\vec{\pi },如果该向量满足上述三个条件,则必然存在\\ & 一个策略为\vec{\beta }的马尔科夫决策过程,使得稳态时,其既处于状态i又采取了行动a的\\ & 概率恰好等于{\pi }_{ia}\end{array}$$
证明这一反命题的思路, 是要构造那个策略$\vec{\beta }$, 这个策略肯定不是凭空产生的, 而是要根据上述三个条件, 和从马氏链的性本身入手.
我们先形式地写出一个MDP, 和一个策略$\vec{\beta }$.
我们将该MDP使用策略$\vec{\beta }$的稳态情形时, 既处于状态$i$又采取了行动$a$的概率记为$P_{ia}$.
如果策略$\vec{\beta }$真的存在, $P_{ia}={\pi }_{ia}$就会成立.
我们先看看$P_{ia}$满足什么样的性质.
易知
$$\{\begin{array}{l}{P}_{ia}\ge 0,\forall i,a\\ \sum _i\sum _a{P}_{ia}=1\\ P_{ja}=\sum _i\sum _{a^{\prime }}{P}_{i{a}^{\prime }}{P}_{ij}(a^{\prime }){\beta }_j(a)\end{array}$$
第三个式子的推导过程如下
P j a = lim ⁡ n → ∞ P β ⃗ { X n + 1 = j , a n + 1 = a } = lim ⁡ n → ∞ ∑ i , a ′ P β ⃗ { X n + 1 = j , a n + 1 = a ∣ X n = i , a n = a ′ } P β ⃗ { X n = i , a n = a ′ } = lim ⁡ n → ∞ ∑ i , a ′ P β ⃗ { X n + 1 = j , a n + 1 = a ∣ X n = i , a n = a ′ } P i a ′ = lim ⁡ n → ∞ ∑ i , a ′ P β ⃗ { a n + 1 = a ∣ X n + 1 = j , X n = i , a n = a ′ } P β ⃗ { X n + 1 = j ∣ X n = i , a n = a ′ } P i a ′ = lim ⁡ n → ∞ ∑ i , a ′ P β ⃗ { a n + 1 = a ∣ X n + 1 = j } P β ⃗ { X n + 1 = j ∣ X n = i , a n = a ′ } P i a ′ = ∑ i , a ′ β j ( a ) P i j ( a ′ ) P i a ′ = ∑ i ∑ a ′ P i a ′ P i j ( a ′ ) β j ( a ) \begin{split} P_{ja} &= \lim _{n\rightarrow \infin} P_{\vec{\beta}}\{X_{n+1} = j, a_{n+1} = a\} \\ &=\lim _{n\rightarrow \infin} \sum \limits_{i,a'}P_{\vec{\beta}}\{X_{n+1} = j, a_{n+1} = a|X_n = i, a_n = a'\}P_{\vec{\beta}}\{X_{n} = i, a_{n} = a'\} \\ &=\lim _{n\rightarrow \infin} \sum \limits_{i,a'}P_{\vec{\beta}}\{X_{n+1} = j, a_{n+1} = a|X_n = i, a_n = a'\}P_{ia'} \\ &=\lim _{n\rightarrow \infin} \sum \limits_{i,a'}P_{\vec{\beta}}\{ a_{n+1} = a|X_{n+1} = j,X_n = i, a_n = a'\}P_{\vec{\beta}}\{X_{n+1} = j|X_n = i, a_n = a'\}P_{ia'} \\ &=\lim _{n\rightarrow \infin} \sum \limits_{i,a'}P_{\vec{\beta}}\{ a_{n+1} = a|X_{n+1} = j\}P_{\vec{\beta}}\{X_{n+1} = j|X_n = i, a_n = a'\}P_{ia'} \\ &= \sum \limits_{i,a'}\beta_j(a) P_{ij}(a') P_{ia'} \\ &=\sum \limits_i \sum \limits_{a'} P_{ia'}P_{ij}(a')\beta_j(a) \end{split} Pja​​=n→∞lim​Pβ ​​{Xn+1​=j,an+1​=a}=n→∞lim​i,a′∑​Pβ ​​{Xn+1​=j,an+1​=a∣Xn​=i,an​=a′}Pβ ​​{Xn​=i,an​=a′}=n→∞lim​i,a′∑​Pβ ​​{Xn+1​=j,an+1​=a∣Xn​=i,an​=a′}Pia′​=n→∞lim​i,a′∑​Pβ ​​{an+1​=a∣Xn+1​=j,Xn​=i,an​=a′}Pβ ​​{Xn+1​=j∣Xn​=i,an​=a′}Pia′​=n→∞lim​i,a′∑​Pβ ​​{an+1​=a∣Xn+1​=j}Pβ ​​{Xn+1​=j∣Xn​=i,an​=a′}Pia′​=i,a′∑​βj​(a)Pij​(a′)Pia′​=i∑​a′∑​Pia′​Pij​(a′)βj​(a)​
对比上下的三条件方程组:
$$\{\begin{array}{l}{\pi }_{ia}\ge 0,\forall i,a\\ \sum _i\sum _a{\pi }_{ia}=1\\ \sum _a{\pi }_{ja}=\sum _i\sum _{a^{\prime }}{\pi }_{i{a}^{\prime }}{P}_{ij}(a^{\prime })\forall j\end{array}$$
和
$$\{\begin{array}{l}{P}_{ia}\ge 0,\forall i,a\\ \sum _i\sum _a{P}_{ia}=1\\ P_{ja}=\sum _i\sum _{a^{\prime }}{P}_{i{a}^{\prime }}{P}_{ij}(a^{\prime }){\beta }_j(a)\end{array}$$
易知, 求出策略$\vec{\beta }$要在最后一个方程做文章.
将下面的方程组中的最后一个方程改为:
$$\sum _a{P}_{ja}=\sum _a\sum _i\sum _{a^{\prime }}{P}_{i{a}^{\prime }}{P}_{ij}(a^{\prime }){\beta }_j(a)$$
如果$P_{ia}={\pi }_{ia}$成立, 则应该有
$$\sum _a{\beta }_j(a)=1$$
由 β i ( a ) = P { β ⃗ 选择 a ∣ 状态为 i } \beta_i(a) = P\{\vec{\beta} 选择 a|状态为i\} βi​(a)=P{β ​选择a∣状态为i}的物理意义, 且根据条件概率
P { β ⃗ 选择 a ∣ 状态为 i } = P { β ⃗ 选择 a  且 状态为 i } P { 状态为 i } = P i a P { 状态为 i } = P i a ∑ a P { 状态为 i ∣ ( 状态为 i 时 ) 选择行动 a } = P i a ∑ a P i a \begin{split} P\{\vec{\beta} 选择 a|状态为i\} &= \frac{P\{\vec{\beta} 选择 a \ 且 \ 状态为i\}}{P\{状态为i\}} \\ &=\frac{P_{ia}}{P\{状态为i\}} \\ &=\frac{P_{ia}}{\sum \limits_{a} P\{状态为i|(状态为i时)选择行动a\}} \\ &=\frac{P_{ia}}{\sum \limits_{a}P_{ia}} \end{split} P{β ​选择a∣状态为i}​=P{状态为i}P{β ​选择a 且 状态为i}​=P{状态为i}Pia​​=a∑​P{状态为i∣(状态为i时)选择行动a}Pia​​=a∑​Pia​Pia​​​
不难看出, 只要让策略$\vec{\beta }$满足
$${\beta }_i(a)=\frac{{\pi }_{ia}}{\sum _a{\pi }_{ia}}$$
即可. 这就证明了策略的存在性. 则就证明了命题.

这个命题的重要性, 在于去确定某种条件下最优的策略. 假定我们有一个MDP, 而且我们知道, 在处于状态$i$时, 采取行动$a$能获得回报$R(i,a)$, 则$R(X_n,a_n)$就是我们在$n$时刻所得到的收益.
则统计意义下, 给定策略$\vec{\beta }$, MDP所进行的每一步的平均收益就是
$$E_{\vec{\beta }}=\underset{n\to \infty }{\lim }\left[\frac{\sum _{i=1}^{n}R(X_i,a_i)}{n}\right]$$

假设${\pi }_{ia}$表示"给定策略$\vec{\beta }$下, 稳态情形时$(n\to \infty )$MDP既处于状态$i$又采取了行动$a$的概率", 则概率意义下, 稳态时MDP的平均收益为:
$$E_{\vec{\beta }}=\sum _i\sum _a{\pi }_{ia}R(i,a)$$

我们上面的命题, 说明了策略和分布的等价性. 因此, 为了最大化每一步的平均收益而去选择一个最优策略${\vec{\beta }}^{\ast }$, 实际上等价于去寻找一个所谓的最优分布${\vec{\pi }}^{\ast }=({\pi }_{ia}{)}^{\ast }$.

该过程可以用一个优化问题表述:
$$\begin{array}{rl}\underset{\vec{\pi }}{\max }& \sum _i\sum _a{\pi }_{ia}R(i,a)\\ s.t.& {\pi }_{ia}\ge 0\\ & \sum _i\sum _a{\pi }_{ia}=1\\ & \sum _a{\pi }_{ja}=\sum _i\sum _{a^{\prime }}{\pi }_{i{a}^{\prime }}{P}_{ij}(a^{\prime })\forall j\end{array}$$

这是一个线性规划问题!
如果找到${\vec{\pi }}^{\ast }=({\pi }_{ia}{)}^{\ast }$, 则让
$${\beta }_i(a{)}^{\ast }=\frac{{\pi }_{ia}^{\ast }}{\sum _a{\pi }_{ia}^{\ast }}$$
即可.