强化学习基础知识笔记[1] - 马尔可夫决策过程

强化学习基本原理

智能体通过动作A与环境进行交互，形成状态S->S’的改变并得到回报R。在不断的交互过程中，强化学习利用交互得到的数据修正自身的动作策略，最终习得该环境下完成相应任务的最优策略。

参考资料
[1] 强化学习入门 第一讲 MDP

预备知识 - 马尔可夫概念

马尔可夫性

马尔可夫性指系统下一状态$S_{t+1}$仅与当前状态$s_t$有关，与以前的状态无关，当前状态可以反映所有历史状态。
公式描述：
$$P[s_{t+1}|s_t]=P[s_{t+1}|s_1,s_2,...,s_t]\text{\hspace{1em}(1.1)}$$

马尔可夫随机过程

随机过程即一组随机变量序列，马尔可夫随机过程指其中的每一个随机变量均具有马尔可夫性，即只与前一个随机变量相关。

马尔可夫过程

马尔可夫过程定义为：二元组(S,P)，S为有限状态集合，P为状态转移概率矩阵。
$$P=\left[\begin{array}{ccc}{P}_{11}& \cdots & P_{1n}\\ ⋮& \ddots & ⋮\\ P_{n1}& \cdots & P_{nn}\end{array}\right]\text{\hspace{1em}(1.2)}$$

马尔可夫链

给定马尔可夫过程(S,P)后，从一状态出发到一状态结束存在多条路径，每条路径为马尔可夫链。

马尔可夫决策过程

马尔可夫决策过程定义为：多元组(S, A, P, R, γ)
其中：

• S为有限状态集合
• A为有限动作集合
• P为状态转移概率
• R为回报函数
• γ为折扣因子

马尔可夫决策过程的状态转移包含概率：
$$P_{s{s}^{\prime }}^a=P[S_{t+1}=s^{\prime }|S_t=s,A_t=a]\text{\hspace{1em}(1.3)}$$
理解：

• $P_{s{s}^{\prime }}^a$为采取动作a从状态s转移到s’的概率

马尔可夫决策过程与强化学习

强化学习的目标

给定马尔可夫决策过程(S, A, P, R, γ)，寻找一组最优策略：
$$\pi (a|s)=p[A_t=a|S_t=s]\text{\hspace{1em}(2.1)}$$

解释：

• $\pi$为一个集合，其中元素为在s状态下采取行为a的概率。

采取概率的原因：为了将探索的过程融合到采样过程中，以便学习新的策略。

累计回报函数

累计回报定义为$G_t$：
$$G_t=R_{t+1}+\gamma R_{t+2}+...=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\text{\hspace{1em}(2.2)}$$

理解：

• $R_{t+1}$为采取某一行动a从初始状态$S_t$转换到$S_{t+1}$获得的回报
• γ为折扣因子

因为从状态St出发到结束存在多种路径，经历每一条路径需要不同的行动，且获得的回报也不一定相同。
根据(2.1)式，策略为一个概率，因此对于累计回报函数而言其取值为一个随机变量，分布由策略$\pi$决定 -> 需要根据数字特征研究其性质。

状态值函数

状态值函数为累计回报函数的数学期望：
$$v_{\pi }(s)=E_{\pi }[G_t]=E_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s\right]\text{\hspace{1em}(2.3)}$$

理解：

• 下标$\pi$为给定的策略，其决定累计回报函数G的分布
• 表示给定策略组$\pi$、初始状态s的条件下，采取不同行动、路径得到的累计回报值的均值

状态值函数贝尔曼方程

$$v_{\pi }(s)=E_{\pi }[G_t|S_t=s]=E_{\pi }[R_{t+1}+\gamma v(S_{t+1})|S_t=s]\text{\hspace{1em}(2.3.1)}$$
贝尔曼方程刻画了状态值函数的递推形式。

状态-行为值函数

$$q_{\pi }(s,a)=E_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a\right]\text{\hspace{1em}(2.4)}$$

理解：

• 下标$\pi$为给定的策略，其决定累计回报函数G的分布
• 表示给定策略组$\pi$、初始状态s、初始行为a的条件下，采取不同行动、路径得到的累计回报值的均值

状态-行为值函数贝尔曼方程

$$q_{\pi }(s,a)=E_{\pi }[R_{t+1}+\gamma v(S_{t+1},A_{t+1})|S_t=s,A_t=a]\text{\hspace{1em}(2.4.1)}$$

式(2.3)-(2.4)详细推导过程参考[1]，这里就偷懒不写了（（（

状态值函数与状态-行为值函数的关系

$$v_{\pi }(s)=\sum _{a\in A}\pi (a|s)q_{\pi }(s,a)\text{\hspace{1em}(2.5.1)}$$

理解：

• $\pi (a|s)$为在策略$\pi$下采取行动a的概率
• $q_{\pi }(s,a)$为在状态s下采取行动a后在策略$\pi$下期望的回报

$$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }}{P}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })\text{\hspace{1em}(2.5.2)}$$

理解：

• $R_s^a$为在s下采取a的回报
• $P_{s{s}^{\prime }}^a$为采取动作a从状态s转移到s’的概率

从式(2.5.1)，(2.5.2)中可以看出，状态值函数与状态-行为值函数在递推过程中存在相互转化的关系。

最优策略与最优状态函数

最优状态函数：

$$v^{\ast }(s)=ma{x}_{\pi }{v}_{\pi }(s)\text{\hspace{1em}(2.6.1)}$$

其贝尔曼方程形式：
$$v^{\ast }(s)=ma{x}_a{R}_s^a+\gamma \sum _{s\in S}{P}_{s{s}^{\prime }}^a{v}^{\ast }(s^{\prime })\text{\hspace{1em}(2.6.2)}$$

最优状态-行为值函数：

$$q^{\ast }(s,a)=ma{x}_{\pi }{q}_{\pi }(s,a)\text{\hspace{1em}(2.6.3)}$$

其贝尔曼方程形式：
$$q^{\ast }(s,a)=R_s^a+\gamma \sum _{s\in S}{P}_{s{s}^{\prime }}^{a}ma{x}_{a^{\prime }}{q}^{\ast }(s^{\prime },a^{\prime })\text{\hspace{1em}(2.6.4)}$$

理解：

• 在状态s下采取a得到回报后，对于采取该行动所有可达的状态均采取最大的状态-行为值函数（其实也是策略的选择）

在已知最优状态-动作值函数，可直接选择最优策略：
$${\pi }_{\ast }(a|s)=\{\begin{array}{rlr}1& & ifa=argmax{q}_{\ast }(s,a)\\ 0& & other\end{array}\text{\hspace{1em}(2.7)}$$

强化学习的目标

给定马尔可夫决策过程
$$M=(S,A,P,r,\rho 0,\gamma ,T)\text{\hspace{1em}(3)}$$
其中：

• S为状态集合
• A为动作集合
• P为转移概率$S\ast A\ast S^{\prime }\to R$，即在s下采取动作a转移到s’的概率，是一个到实数域的映射
• r为$S\ast A\to [-R_{max},R_{max}]$，立即回报函数，状态s下采取a的回报
• $\gamma \in [0,1]$为折扣因子
• T为水平范围（步数）

强化学习的目标可以描述为：在给定上述马尔可夫决策过程下，找到最优策略$\pi$，最大化累计回报函数(2.2)。

需要说明的是，当值函数最优时采取的策略也是最优的。反过来，策略最优时值函数也最优。