强化学习二-举例理解概念

MDP(离散型)概念理解(二)

参考链接：https://blog.csdn.net/weixin_46185085/article/details/107598554

一、说明基础概念

假设一个节点得状态空间为 S = { 0 , 1 , 2 , 3 , . . . , 13 } S=\{0,1,2,3,...,13\} S={0,1,2,3,...,13}，动作空间为 A = { − 2 , − 1 , 0 , 1 , 2 } A=\{-2,-1,0,1,2\} A={−2,−1,0,1,2},其中初始得一个策略为
$$\pi (a|s)=\{\begin{array}{ll}0.8,& s<=5,-I_{max}\le a<0\\ 0.2& s<=5,a=0\\ 0.8& 5<s<Z_v-5,a=0\\ 0.1& 5<s<Z_v-5,a<0\\ 0.1& 5<s<Z_v-5,a>0\\ 0.8& Z_v-5\le s<Z_v,0<a\le I_{max}\\ 0.2& Z_v-5\le s<Z_v,a=0\end{array}$$​

注意到，这里得假设$Z_v=13,I_{max}=2$ ,具体的用示意图1表示为：

1.1 状态转移概率

• 公式： $P_{s{s}^{\prime }}^a=E(S_{t+1}|S_t=s,A_t=a)$,在当前状态s,动作a下的转移到状态s’的概率期望
• 举例：$P_{4,8}^0=P(S_{t+1}=8|S_t=5,a_t=0)=0.05$,在当前状态为4，动作为0,转移到状态为8的概率
  $P_{4,8}=0.2_{(a=0)}\times 0.05+0.4_{(a=-1)}\times 0.1+0.4_{(a=-2)}\times 0.1+0_{(a=1)}+0_{(a=2)}=0.09$。在当前状态为4，不知道动作，转移到状态为8,的概率期望

1.2 报酬

• 即时报酬：$R_{s{s}^{\prime }}^a$：在当前状态s下，执行动作a后，转移到状态s’后，得到的报酬。假设我们报酬为完成的自行车行程数量。在单个节点中，我们利用“出量+进量之和”作为该动作的报酬。如上：$R_{48}^0=6(走了1辆车，来了5辆车)$

• 动作报酬期望：$R_s^a={\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{R}_{s{s}^{\prime }}^a$.举例则$$\begin{array}{rl}& R_{s=4}^{a=0}\\ & =0.05_{s^{\prime }=1}\ast 3+0.1_{s^{\prime }=2}\ast 2+0.2_{s^{\prime }=3}\ast 3+0.1_{s^{\prime }=5}\ast 3+0.1_{s^{\prime }=6}\ast 4+0.05_{s^{\prime }=7}\ast 3+0.05_{s^{\prime }=8}\ast 6+0.05_{s^{\prime }=9}\ast 5\\ & =0.15+0.2+0.6+0.3+0.4+0.15+0.3+0.45\\ & =2.55\end{array}$$

  $$\begin{array}{rl}& R_{s=4}^{a=1}\\ & =0.05\ast 1+0.1\ast 4+0.1\ast 3+0.1\ast 4+0.1\ast 5+0.1\ast 6+0.1\ast 7+0.1\ast 8+0.05\ast 9=4.2\end{array}$$

  $$R_{s=4}^{a=2}=R_{s=4}^{a=-1}=R_{s=4}^{a=-2}=4.2$$

• 策略报酬期望：$R_s^{\pi }={\sum }_{a\in A}\pi (a|s)R_s^a$

  $$\begin{array}{rl}{R}_{s=4}^{\pi }& =\pi (a=-1|4)\ast R_4^{-1}+\pi (a=-2|4)R_4^{-2}+\pi (0|4)\ast R_4^0+\pi (1|4)\ast R_4^1+\pi (2|4)R_4^2\\ & =0.4_{(a=-1)}\ast 4.2+0.4_{(a=-2)}\ast 4.2+0.2_{(a=0)}\ast 2.55+0+0=3.87\end{array}$$

1.3 两个价值函数

1.3.1 状态价值函数(或累积回报函数)

是对当前状态的s=4的价值判断。

公式为： V π ( s ) = ∑ a ∈ A π ( a ∣ s ) { R s s ′ a + γ ∑ s ′ ∈ S V π ( s ′ ) } (1) V^{\pi}(s)=\sum_{a\in A}\pi(a|s)\{R^a_{ss'}+\gamma\sum_{s'\in S} V^{\pi}(s')\} \tag{1} Vπ(s)=a∈A∑​π(a∣s){Rss′a​+γs′∈S∑​Vπ(s′)}(1)

举例为：

V π ( s = 4 ) = s u m a ∈ { − 2 , − 1 , 0 , 1 , 2 } π ( a ∣ s ) V^{\pi}(s=4)=sum_{a\in \{-2,-1,0,1,2\}}\pi(a|s) Vπ(s=4)=suma∈{−2,−1,0,1,2}​π(a∣s)​ { R 4 a + γ ∑ s ′ ∈ { 0 , . . . , 13 } P 4 s ′ a V π ( s ′ ) } \{R^a_4+\gamma \sum_{s'\in \{0,...,13 \}}P^a_{4s'}V^{\pi}(s') \} {R4a​+γ∑s′∈{0,...,13}​P4s′a​Vπ(s′)}​​

$=0.2\ast$​​​​​​​​​​​​ $(R_4^0+\gamma \times$$[0.05\times V^{\pi }(1)+0.1\times V^{\pi }(2)+0.3\times V^{\pi }(30)0.1\times V^{\pi }(5)+0.1\times V^{\pi }(6)+0.05\times (V^{\pi }(7))+V^{\pi }(8)+V^{\pi }(9)]$​​​​​​​​​​​​​)

$+0.4\ast$​​​​​ $(R_4^{-2}+\gamma \times$​​

$[0.05\times V^{\pi }(3)+0.1\times (V^{\pi }(4)+V^{\pi }(5)+V^{\pi }(6)+V^{\pi }(7)+V^{\pi }(8)+V^{\pi }(9)+V^{\pi }(10)+V^{\pi }(11)+V^{\pi }(12))+0.05\times V^{\pi }(13)]$​​
$+0.4\ast$​​ $(R_4^{-1}+\gamma \times$​​
$[0.05\times V^{\pi }(3)+0.1\times (V^{\pi }(4)+V^{\pi }(5)+V^{\pi }(6)+V^{\pi }(7)+V^{\pi }(8)+V^{\pi }(9)+V^{\pi }(10)+V^{\pi }(11)+V^{\pi }(12))+0.05\times V^{\pi }(13)]$

1.3.2 Q函数（状态动作函数）

对当前状态-动作的价值判断

公式为：$$Q^{\pi }(s,a)=R_S^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a\sum _{a^{\prime }\in S}\pi (a|s)Q^{\pi }(s^{\prime },a^{\prime })\text{\hspace{1em}(2)}$$
举例略()

1.3.3 Q函数与值函数的关系

$$V^{\pi }(s)=\sum _{a\in A}\pi (a|s)Q^{\pi }(s,a)$$

$$Q^{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{V}^{\pi }(s^{\prime })$$

1.4最优价值函数

1. 最优状态价值函数：是所有策略下产生的众多状态价值函数中的最大者，即：$V^{\ast }(s)={\max }_{\pi }{V}^{\pi }(s)$

2. 最优董总价值函数：是所有策略下产生的众多动作状态价值函数中的最大者，即：$Q^{\ast }(s,a)={\max }_{\pi }{Q}^{\pi }(s,a)$

3. 最优策略，基于动作价值函数可以定义胃：

   ${\pi }^{\ast }(a|s)=\{\begin{array}{ll}1,& ifa=\arg ma{x}_{a\in A}{Q}^{\ast }(s,a)\\ 0,& else\end{array}$

4. 只要我们找到了最大的状态价值函数或者动作价值函数，那么对应的策略${\pi }^{\ast }$​就是我们强化学习问题的解。

1.5 Bellman最优方程

可以根据最优价值函数的定义，可以推到其bellman方程形式

1. 最优状态价值函数 :$V^{\ast }(s)={\max }_{\pi }{V}^{\pi }(s)$

   $$\begin{array}{rlr}{V}^{\ast }(s)& =\underset{\pi }{\max }{V}^{\pi }(s)& 对不同策略取的V值取最大\\ & =\underset{\pi }{\max }(\sum _{a\in A}\pi (a|s)Q^{\pi }(s,a))& 代入V值与Q值得关系\\ & =\underset{\pi }{\max }\underset{a\in A}{\max }{Q}^{\pi }(s,a)& 上一行是动作状态得期望，此行是动作状态得最值\\ & =\underset{a\in A}{\max }{Q}^{\ast }(s,a)& 调换两个max,逆用最优状态动作值函数\end{array}$$

   1.1 $\pi (a|s)\in [0,1],且{\sum }_{a\in A}\pi (a|s)=1$

   1.2 ${\sum }_{a\in A}\pi (a|s)Q^{\pi }(s,a)$得最大值：

   1. 假设在状态s下执行动作$a^{\ast }$​时，$Q_{\pi }(s,a^{\ast })$​得值最大，$Q_{\pi }(s,a^{\ast })\ge Q_{\pi }(s,a),a\in A$​

2. 最优行为价值函数:$Q^{\ast }(s,a)={\max }_{\pi }{Q}^{\pi }(s,a)$
   $$\begin{array}{rlr}{Q}^{\ast }(s,a)& =\underset{\pi }{\max }{Q}^{\pi }(s,a)& 对不同策略固定得a取Q最值\\ & =\underset{\pi }{\max }(R_{s{s}^{\prime }}^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{V}^{\pi }(s^{\prime }))& 带入Q值与V值得关系\\ & =R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{V}^{\ast }(s^{\prime })& max进去后，逆用最优状态值函数\end{array}$$
   3.$Q^{\ast }(s,a)和V^{\ast }(s)$的递推表达式为：

$$V^{\ast }(s)=\underset{a\in A}{\max }(R_S^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^{a}V\ast (s^{\prime }))$$​
$$Q^{\ast }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a\underset{a\in A}{\max }{Q}^{\ast }(s^{\prime },a^{\prime })$$

二、 常用案例迭代

这里时一个常用的MDP的案例。figq为原始案例图以及初值表示；fig2表示计算后的结果

注意：这里认为当下的策略是最优策略，没有对策略进行取最大值的步骤。此外，为方便计算折扣因子$\gamma =1$
我们根据最优Q*的迭代说明一下
$Q^{\ast }(s,a)={\max }_{\pi }{Q}^{\pi }(s,a)$,$V^{\ast }(s)={\max }_{\pi }{V}^{\pi }(s)$

2.1 迭代公式

• $Q^{\ast }(s,a)=R_s^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{\max }_{a\in A}{Q}^{\ast }(s^{\prime },a^{\prime })$，
• $V^{\ast }(s)={\max }_{a\in A}(R_S^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^{a}V\ast (s^{\prime }))$

• ${\sum }_{s^{\prime }}$ ，s‘是对当前状态s和动作a后产生的下一状态，任意状态都有$P_{s{s}^{\prime }}^a$的概率发生，所以要求和
• $R_s^a$是当下的动作的即时报酬
• $\gamma$是下一状态动作的折扣因子
• ${\max }_{a^{\prime }}{Q}^{\ast }(s^{\prime },a^{\prime })$:对未来状态s’，进行采取动作a’的最大动作-状态的报酬(值函数)

2.2 $Q^{\ast }(s,a)$迭代过程：

1. 方块是终点，所以迭代的初始值函数为0
2. • $Q^{\ast }(S_4,study)=10,Q^{\ast }(S_3,sleep)=0$
3. • $Q^{\ast }(S_4,pub)=1+0.2\times {\max }_{a^{\prime }}{Q}^{\ast }(S_2,a^{\prime })+0.4\times {\max }_{a^{\prime }}{Q}^{\ast }(S_3,a^{\prime })+0.4\times {\max }_{a^{\prime }}{Q}^{\ast }(S_4,a^{\prime })$
     求${\max }_{a^{\prime }}{Q}^{\ast }(S_4,a^{\prime })$,假设已知为最大值。
   • $\max Q^{\ast }(S_4,a^{\prime })$$=10$
4. • $Q^{\ast }(S_3,study)=-2+$${\max }_{a^{\prime }}{Q}^{\ast }(S_4,a^{\prime })$$=-2+10=8$
   • $\max Q^{\ast }(S_3,a^{\prime })=max(8,0)=8$
5. • $Q^{\ast }(S_2,study)=-2+$ ${\max }_{a^{\prime }}(S_3,a^{\prime })$$=-2+8=6$
   • $Q^{\ast }(S_3,pub)=-1+{\max }_{a^{\prime }}{Q}^{\ast }(S_1,a^{\prime })$
     求${\max }_{a^{\prime }}{Q}^{\ast }(S_2,a^{\prime })$。假设已知为最大值。
   • $\max Q^{\ast }(S_2,a^{\prime })$$=6$
6. • $Q^{\ast }(S_1,Fab)=-1+{\max }_{a^{\prime }}(S_1,a^{\prime })$
   • $Q^{\ast }(S_1,quit)=0+$${\max }_{a^{\prime }}(S_2,a^{\prime })$ $=6$
     求${\max }_{a^{\prime }}{Q}^{\ast }(S_1,a^{\prime })$。假设已知为最大值。
   • $\max Q^{\ast }(S_1,a^{\prime })$$=6$
7. 倒退逐步验证每一个假设
   • $Q^{\ast }(S_1,Fab)=-1+{\max }_{a^{\prime }}(S_1,a^{\prime })=5<\max Q^{\ast }(S_1,a^{\prime })=6$,假设成立
   • $Q^{\ast }(S_3,pub)=-1+{\max }_{a^{\prime }}{Q}^{\ast }(S_1,a^{\prime })=5<\max Q^{\ast }(S_3,a^{\prime })=10$,假设成立
   • $\begin{array}{rl}{Q}^{\ast }(S_4,pub)& =1+0.2\times \underset{a^{\prime }}{\max }{Q}^{\ast }(S_2,a^{\prime })+0.4\times \underset{a^{\prime }}{\max }{Q}^{\ast }(S_3,a^{\prime })+0.4\times \underset{a^{\prime }}{\max }{Q}^{\ast }(S_4,a^{\prime })\\ & =1+0.2\times 6+0.4\times 8+0.4\times 10\\ & =9.4<\max Q^{\ast }(S_4,a^{\prime })=10\end{array}$,假设成立

2.3 $V^{\ast }(s)$的迭代过程：

1. 方块是终点，所以迭代的初始值函数为0
   • $V^{\ast }(end)=0$
2. • V ∗ ( S 4 ) = max ⁡ { V^*(S4)=\max\{ V∗(S4)=max{$10+0$,$1+0.2\times V^{\ast }(S_2)+0.4\times V^{\ast }(S_3)+0.4\times V^{\ast }(S_4)\}$=10(假设已知为最大值。)
3. • V ∗ ( S 3 ) = max ⁡ { V*(S_3)=\max\{ V∗(S3​)=max{ $0+0$,$-2+V^{\ast }(S_4)\}$=8
4. • V ∗ ( S 2 ) = max ⁡ { V^*(S_2)=\max\{ V∗(S2​)=max{ $-1+V^{\ast }(S_1)$,$-2+V^{\ast }(S_3)\}$$=6(假设已知为最大值。)
5. • V ∗ ( S 1 ) = max ⁡ { V^*(S_1)=\max\{ V∗(S1​)=max{-1+V^*(S_1)\quad$,$0+V^{\ast }(S_2)$}=6(假设已知为最大值。)
6. 经验证，三个假设都成立。

三、文字概念

强化学习是通过从交互学习来实现目标的计算方法。其交互过程是，在每一步t中，智能体与环境进行交互：

• 智能体（agent）：获得观察O_t，获得奖励R_t，执行动作A_t；
• 环境：获得行动A_t，给出观察O_{t+1}，给出奖励R_{t+1}；

以上这种交互的一个完整的过程，我们可以称之为历史（History)，这是一串关于观察、奖励、行动的序列，是一串一直到时间t为的所有观测变量。

• 状态（State）：是一种用于确定接下来会发生的事情（动作A、奖励R、观测O)，状态是关于历史的函数。状态通常是整个环境的，所观察到的状态可以视为所有状态的一部分，仅仅是智能体agent可以观察到的那一部分。

• 策略（Policy）：是学习智能体在特定时间下的状态的行为方式。即从状态到行为的映射。策略可以分为两种：确定性策略（函数表示）和随机策略（条件概率表示）。

• 奖励（Reward）：一种度量，立即感知到什么是好的，一般情况下是一个标量。

• 价值函数（Value function）：长远来看（long-term），什么是好的。价值函数是对于未来累计奖励的预测，用于评估给定策略下，状态的好坏。

• 环境的模型（Model）：用于模拟环境的行为，预测下一个状态，预测下一个立即奖励（reward）。

3.1 策略与状态转移方程的区别：

（1）策略，是在状态s时，可能执行不同的动作a的各自的概率，是一个n*m的矩阵（n个状态，m个动作）；

（2）状态转移方程，是在状态s下，执行一个确定的动作a后，转移到各个状态s’的概率，是一个nnm的张量（n个状态，m个动作）

3.2强化学习智能体agent的分类

强化学习大体可以分为两类：
（1）model-based RL（基于模型的强化学习）：模型可以被环境所知道，agent可以直接利用模型执行下一步的动作，而无需与实际环境进行交互学习。
例如：围棋、迷宫、象棋等这类规则明确，且可以枚举下一个状态的所有可能（比如象棋黑方走了一步后，可以列举此时红方可能要走的棋子和要走的方式）
（2）model_free RL（模型无关的强化学习）:真正意义上的强化学习，环境是黑箱，比如Atari游戏、王者荣耀游戏，其需要大量的采样。

3.3 强化学习的另外一种分类方式：

（1）基于价值：没有策略（隐含）、价值函数。通过估计价值，来推导出最优策略。
（2）基于策略：策略、没有价值函数。与基于价值的关系相反。
（3）Actor-Critic：策略、价值函数相辅相成