【强化学习】-2.马尔可夫决策过程MDP

1. 马尔可夫决策过程(MDPs)简介

MDPs是描述强化学习问题环境的形式化框架，当环境完全可观测。它们在马尔可夫过程和马尔可夫奖励过程的基础上增加了动作。

MDPs可以表示广泛的强化学习问题,如：

• 最优控制主要是解决连续型的MDPs
• 部分可观测的问题可以转化成MDPs
• 臂赌博机问题

2. 马尔可夫性质

给定现在,未来与过去无关

定义：

一个状态$S_t$ 是马尔可夫当且仅当 $P(S_{t+1}|S_t)=P[S_{t+1}|S_1,...S_t)$

马尔可夫过程由状态空间S和转移概率矩阵P定义,状态转移矩阵P定义了在状态之间转移的概率. 当前状态捕捉了过去的所有相关信息。一旦状态已知，历史可以不考虑。

马尔可夫过程

定义：

马尔可夫过程表示为<S,P>

• S是一个（有限）状态集合
• 状态转移矩阵P定义了在状态之间转移的概率 $P_{s{s}^{\prime }}=P[S_{t+1}=s^{\prime }|S_t=s)$

3. 马尔可夫奖励过程(MRPs)

MRPs在马尔可夫过程的基础上增加了奖励函数R和折扣因子γ

马尔可夫奖励过程表示为<S,P,R,γ>

• S是一个（有限）状态集合
• 状态转移矩阵P定义了在状态之间转移的概率 $P_{s{s}^{\prime }}=P[S_{t+1}=s^{\prime }|S_t=s)$
• R 是一个奖励函数，$R_s=E[R_{t+1}|S_t=s]$
• γ 为折扣系数，$\gamma \in [0,1]$

回报 $G_t$

$G_t$是从某个状态开始的总折扣奖励,
$G_t=R_{t+1}+\gamma R_{t+2}+...={\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$

价值函数V(s)

V(s)是从某个状态开始的期望回报, $v(s)=E[G_t|S_t=s]$

贝尔曼方程

贝尔曼方程将一个状态的价值与即时奖励和后续状态的折扣价值联系起来

$v(s)=E[R_{t+1}+\gamma v(S_t+1)|S_t=s]$

4. 马尔可夫决策过程(MDPs)

4.1 MDP

MDPs在MRPs的基础上增加了动作空间A,

马尔可夫奖励过程表示为<S,A,P,R,γ>

• S是一个（有限）状态集合
  > - A 是一个有限动作集合
• 状态转移矩阵P定义了在状态之间转移的概率 $P_{s{s}^{\prime }}^a=P[S_{t+1}=s^{\prime }|S_t=s,A_t=a)$
• R 是一个奖励函数，$R_s^a=E[R_{t+1}|S_t=s,A_t=a]$
• γ 为折扣系数，$\gamma \in [0,1]$

转移概率和奖励现在取决于所选择的动作

4.2 策略

策略π定义了在每个状态下采取每个动作的概率，
$\pi (a|s)=P(A_t=a|S_t=s)$

• 一个策略充分定义了一个agent的行为
• MDP策略取决于当前的状态（不取决于过去的状态）
• 即 策略是稳定的（和时间无关） $A_t\sim \pi (.|S_t),\forall t>0$

4.3 状态价值函数

状态价值函数$V_{\pi }(s)$是从s开始并遵循π的期望回报
$v_{\pi }(s)=E_{\pi }[G_t|S_t=s]$

动作价值函数$Q_{\pi }(s,a)$是从s开始,采取动作a,然后遵循π的期望回报
$q_{\pi }(s,a)=E_{\pi }([G_t|S_t=s,A_t=a]]$

4.4 贝尔曼期望方程递归

$v_{\pi }(s)=E_{\pi }([R_{t+1}+\gamma v_{\pi }((S_t+1)|S_t=s]$
$q_{\pi }(s,a)=E_{\pi }([R_{t+1}+\gamma q_{\pi }((S_t+1,A_{t+1})|S_t=s,A_t=a]]$

我们下一步要考虑如何找到MDP最好的解。

4.5 最优价值函数

最优状态价值函数$v_{\ast }(s)$基于所有的策略最大化状态价值函数
$v_{\ast }(s)=ma{x}_{\pi }{v}_{\pi }(s)$
最优动作价值函数$q_{\ast }(s)$基于所有的策略最大化动作价值函数
$q_{\ast }(s,a)=ma{x}_{\pi }{q}_{\pi }(s,a)$

以上两种价值函数，如果知道动作价值函数，你可以立即知道那种行为是对的和收益高的。如果我们知道这个最优价值意味着MDP的解被找到了。

4.6最优策略

最优策略π*最大化所有状态的期望回报

定义：

对于MDP，

• 必然存在一个最有策略π*优于或等于其他所有的策略
  ${\pi }_{\ast }\ge \pi ,\forall \pi$
• 所有的最优策略都获得最优的价值函数
  $v_{{\pi }_{\ast }}(s)=v_{\ast }(s)$
• 所有的最优策略都获得最优的动作价值函数
  $q_{{\pi }_{\ast }}(s,a)=q_{\ast }(s,a)$

找到最优策略：

找到 一个最优策略可以通过最大化$q_{{\pi }_{\ast }}(s,a)$

4.7 贝尔曼最优方程递归

$v_{\ast }(s)=ma{x}_a{q}_{\ast }(s,a)$
$q_{\ast }(s,a)=R_s^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\ast }(s^{\prime })$

==>整合为

$v_{\ast }(s)=ma{x}_a{R}_s^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\ast }(s^{\prime })$

$q_{\ast }(s,a)=R_s^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^{a}ma{x}_a^{\prime }{q}_{\ast }(s^{\prime },a^{\prime })$

我们要如何对贝尔曼最优方程求解？
贝尔曼期望方程可以通过封闭的方式求解， 但是贝尔曼最优方程是非线性的–没有封闭解

–>迭代解法：

• 价值函数迭代
• 策略迭代
• q-learning
• sarsa

参考：
RL Course by David Silver - Lecture 2: Markov Decision Process
https://www.youtube.com/watch?v=lfHX2hHRMVQ&t=3099s