马尔科夫决策过程(1)

---

immediate reward：$r_t$

概述

state: Agent在环境中采取action后,在环境中新观测到的状态。

reward: Agent在环境中采取action后，环境反馈的奖励信号。奖励具有延时性，采取某些action，奖励值可能为0。例如下象棋，只有在棋局结束的时候才会获得奖励值（输或赢）。

强化学习讨论的是Agent样在复杂不确定的环境中，怎么获得最大的奖励。

一、agent的组成成分

policy:决策函数，被用来agent选取下一步的动作

1. 输入状态S，输出所有行为概率
2. 输入状态S，输出行为（概率最大的行为）

value function:进入某一状态的价值估价，在决策π下，进入这一状态的会给未来带来的收益的期望，$\gamma$是折扣因子，状态越往后获得的奖励越打折扣（希望获得尽早获得最大的奖励，少绕弯子）
$$v_{\pi }(s)=E_{\pi }[G_t|S_t=s]=E_{\pi }[\sum _{m=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]$$
q function:相对于value faunction,含有$states$和$action$两个变量,进入这一状态且采取当前行为会给未来带来的收益的期望
$$v_{\pi }(s)=E_{\pi }[G_t|S_t=s,A_t=a]=E_{\pi }[\sum _{m=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]$$
Model:agent对环境的理解，Model决定了下一个状态什么样
预测下一个状态：$P_{s{s}^{{}^{\prime }}}^a=P[S_{t+1}=s^{{}^{\prime }}|S_t=s,A_t=a]$
预测到达这一状态的奖励：$R_s^a=E[R_{t+1}|S_t=s,A_t=a]$

二、马尔科夫决策过程

1.马尔科夫链

Merkov Processes:一个状态的下一状态，只取决于当前状态
用条件概率来描述：
历史所有状态：$h_t=${$s_1,s_2......,s_t$}
对于下一状态：
$p(s_{t+1}|s_t)=p(s_{t+1}|h_t)$
$p(s_{t+1}|s_t,a_t)=p(s_{t+1}|h_t,a_t)$

2.马尔科夫奖励过程（MRP）

Merkov Reward Processes:马尔科夫链+奖励函数

1.定义组成

• $S$ 是一个有限状态集
• $P$ 是一个状态转移概率矩阵，$P(S_{t+1}=s^{{}^{\prime }}|s_t=s)$
• $R$ 是一个奖励函数，$R(s_t=s)=E[r_t|s_t=s]$
• $\gamma$ 是一个折扣因子$\gamma \in [0,1]$.

例：马尔科夫链+奖励函数

2.Return and Value function

Return 定义
$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...+{\gamma }^{T-t-1}{R}_T$
一个游戏的环节(episodes)步数是有限的，由 $horizon$ 将 $T$ 限定在规则里，$\gamma$是折扣因子，状态越往后获得的奖励越打折扣（希望获得尽早获得最大的奖励，少绕弯子）

价值函数定义
进入某一状态的价值估价，进入这一状态$(s_t)$的会给未来带来的$Return$ 的期望
$V_t=E[G_t|s_t=s]=E[G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...+{\gamma }^{T-t-1}{R}_T|s_t=s]$
例：

如何计算状态$s_4$的价值函数
1）采样很多由$s_4$状态出发的轨迹，计算每个轨迹的价值，求平均来计算价值。
2）Bellman equation(一种递归的思想),考虑了状态转移P进行运算。
$$V(s)=R(s)+\gamma \sum _{s^{{}^{\prime }}\in S}P(s^{{}^{\prime }}|s)V(s^{{}^{\prime }})$$
写成矩阵的形式

求解$V=R+\gamma PV$
1）可以通过矩阵求逆解出价值函数：$V=(I-\gamma P{)}^{-1}R$
2）迭代法$V=R+\gamma PV$

3.马尔科夫决策过程（MDP）

Merkov Decision Processes

1.定义组成

MDP是一个五元组$<S,A,P,R,\gamma >$，其中

• $S$ 是一个有限状态集
• $A$ 是一个有限动作集
• $P$ 是一个状态转移概率矩阵，$P^a(S_{t+1}=s^{{}^{\prime }}|s_t=s,a_t=a)$
• $R$ 是一个奖励函数，$R(s_t=s,a_t=a)=E[r_t|s_t=s,a_t=a]$
• $\gamma$ 是一个折扣因子$\gamma \in [0,1]$.

Comparison of MP/MRP and MDP

2.Policy

1.定义了agenr在某一个状态会采取什么样的行为。可能行为的概率，例如：百分之20的概率往左走，百分之80的概率往右走，也可能是直接输出行为。
2.Policy：$\pi (a|s)=P(a_t=a|s_t=s)$
3.Policy概率函数默认是静态的，不同的时间点都是对Policy采样

3.马尔科夫决策过程的价值函数

1.价值函数，这里理解的是对Policy和基于action状态转移进行采样,计算reward，得到一个期望
$$V^{\pi }(s)=E_{\pi }[G_t|s_t=s]$$

2.q函数,在某一状态采取某一行为得到的价值的期望
$$q^{\pi }(s,a)=E_{\pi }[G_t|s_t=s,A_t=a]$$

3.$V^{\pi }(s)$与$q^{\pi }(s,a)$的关系
$$V^{\pi }(s)=\sum _{a\in A}\pi (a|s)q^{\pi }(s,a)$$

3.Bellman Expectation Equation

任何策略$\pi$和任何状态s,s和任何状态s,s的价值与其可能的后继状态的价值存在以下关系
(以下关于奖励的参数，$R_{t+1}$是集合，$R(s,a)$是期望，r是集合$R_{t+1}$中的值，进入状态$s^{{}^{\prime }}$，得到r的概率是$p(s^{{}^{\prime }},r|s,a)$)

$v_{\pi }(s)=E_{\pi }[G_t|S_t=s]$

$=E_{\pi }[R_{t+1}+\gamma G_t|S_t=s]$

$={\sum }_a\pi (a|s){\sum }_{s^{{}^{\prime }}}{\sum }_{r}p(s^{{}^{\prime }},r|s,a)[r+\gamma E_{\pi }[G_{t+1}|S_{t+1}=s^{{}^{\prime }}]]$

$={\sum }_a\pi (a|s){\sum }_{s^{{}^{\prime }},r}p(s^{{}^{\prime }},r|s,a)[r+\gamma v_{\pi }(s^{{}^{\prime }})]$

将
$$V^{\pi }(s)=\sum _{a\in A}\pi (a|s)q^{\pi }(s,a)$$
$$q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{{}^{\prime }}\in S}P(s^{{}^{\prime }}|s,a)v^{\pi }(s^{{}^{\prime }})$$
相互联立得

$$V^{\pi }(s)=\sum _{a\in A}\pi (a|s)(R(s,a)+\gamma \sum _{a\in A}P(s^{{}^{\prime }}|s,a)v^{\pi }(s^{{}^{\prime }}))$$
图像表示：

$$q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{{}^{\prime }}\in S}P(s^{{}^{\prime }}|s,a)\sum _{a\in A}\pi (a^{{}^{\prime }}|s^{{}^{\prime }})q^{\pi }(s^{{}^{\prime }},a^{{}^{\prime }})$$

建立递归关系