四十九.强化学习基础

1. 强化学习基础知识

1.1 强化学习简介

机器学习分为监督学习，非监督学习，强化学习（RL）。深度学习+强化学习即为深度强化学习（DRL）。
强化学习没有事先准备好的数据标签作为监督来指导学习过程，只有奖励值，通常是延后给出。

1.2强化学习的分类

从不同的角度来看，强化学习有四种分类方法。

1.2.1model-base和model-free

mode-base:状态转移概率（state transitional probability）已知。
model-free：状态转移概率（state transitional probability）未知。

1.2.2policy-based和value-based

policy-based：输出动作的概率分布。
value-based：输出动作的价值函数，永远都会去选择价值最大的动作。

1.2.3Monte-Carlo和Temporal-Difference

回合更新（Monte-Carlo）：到结束的时候才更新自己的策略（在深度强化学习指相应的神经网络参数）。
单步更新（Temporal-Difference）：每执行一个动作就会改变一次参数。

1.2.4on-policy与off-policy

on-policy：探索环境使用的策略和要更新的策略是同一个策略，在和环境交互的过程中更新着自己的策略。
off-policy：探索环境使用的策略和要更新的策略不是同一个策略，通过看很多历史的数据（如玩家视频）来学习策略，而没有真的与环境交互。

1.3基本概念

强化学习模型中最关键的三个部分为：状态(state)、动作(action)、奖励(reward)。一个经典的RL过程可以视为：智能体在$t$时刻观察到一个状态$s_t$，执行一个动作后$a_t$，环境反馈给它一个奖励$r_t$与新的状态$s_{t+1}$，然后智能体根据这个状态执行动作$a_{t+1}$，然后获得$r_{t+1}$…以此类推，最终形成一个由上述三部分组成的一个序列，也就是轨迹（trajectory），又叫马尔科夫链。
状态（State）：代表当前智能体所处的外界环境信息。环境状态具体的表现形式可以有很多种，例如多维数组（如xy坐标）、图像（如像素游戏）和视频等。为了更好地学习策略，外界环境的状态需要能够准确的描述外界环境，尽可能的将有效信息包括在内，通常越充足的信息越有利于算法的学习。
动作（Action）：智能体在感知到所处的外界环境状态后所要采取的行为，如跳跃、奔跑、转弯等，是对外界环境的一种反馈响应。当然，动作的表现形式既可以是离散的，也可是连续的。
奖励（Reward）：当智能体感知到外界环境并采取动作后所获得的奖赏值。奖励是一种变量反馈信号，代表智能体在该时刻的动作表现（如当前这个行为对整个游戏的胜负有多大的增益），而智能体的任务一般都是最大化累计奖励。
历史（History）：也叫轨迹（Trajectoty），它是关于状态$s$、动作$a$、奖励$r$的序列。

2.马可夫决策过程（强化学习的数学模型）

2.1基本概念

强化学习的数学模型就是马尔科夫决策过程。

2.1.1马尔科夫性（Markov property）

马尔科夫性（Markov property）：系统的下一个状态$S_{t+1}$仅与当前状态$S_t$有关，而与之前的所有状态无关，即：
$$P[s_{t+1}|s_t]=P[S_{t+1}|s_1,s_2,s_3,...,s_t]$$
强化学习为什么需要马尔可夫性？
真实环境中的环境转化非常复杂, 复杂到难以建模, 转化到下一个状态$S_{t+1}$不仅与上一个状态$S_t$有关, 还和上上个状态$S_{t-1}$ , 以及更之前的状态有关, 我们需要利用马尔科夫性对环境转化模型进行简化, 来帮助强化学习算法进行学习。

2.1.2马尔科夫过程(Markov process)

马尔科夫过程(Markov process)：它是一个二元组$<S,P>$，且满足：S是有限状态集合，P是状态转移概率。假设有n种不同的状态，则$P_{11}$指的是从状态1到状态1的概率，$P_{1n}$指的是从状态1到状态n的概率。由此，得到状态转移概率矩阵为：
$$P=\left[\begin{array}{ccc}{P}_{11}& \dots & P_{1n}\\ ⋮& \ddots & ⋮\\ P_{n1}& \dots & P_{nn}\end{array}\right]$$
其中，单行概率和为1，即：
$${\sum }_{j=1}^n{P}_{ij}=1$$

2.1.3马尔科夫奖励过程（Markov reward process）

马尔科夫奖励过程（Markov reward process）:马尔科夫奖励过程在马尔科夫过程的基础上增加了奖励函数$R$和衰减系数$\gamma$，表示为$(S,P,R,\gamma )$。
其中，$R$为奖励函数,它表示$S_t$状态下的奖励，是处在状态$s_t$下，在下一个时刻$t+1$能获得的奖励期望，即：
$$R_S=E[R_{t+1}|S_t=s_t]$$
$\gamma$为衰减系数，强化学习是面向未来的，离当前时刻$t$越远，影响越小，因此，需要衰减因子来减少对当前时刻的影响。
定义折扣累计回报：从$t$时刻所得到的折扣回报总和，即：
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$

2.1.4价值函数（value function）

价值函数（value function）:它描述了当前某一状态或某一行为的长期价值，分为状态价值函数（state value function）和动作价值函数（action value function）。
两类价值函数的区别:当前状态的价值就是状态价值函数，当前做了什么动作的价值就是动作价值函数。
因此，一个马尔科夫奖励过程中某一状态价值函数$V(s)$为从该状态开始的马尔可夫链收获的期望：
$$\begin{array}{rl}V(s)& =E_{\pi }[G_t|S_t=s]\\ V(s)& =E_{\pi }[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...|S_t=s]\\ V(s)& =E_{\pi }[R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...)|S_t=s]\\ V(s)& =E_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ V(s)& =E_{\pi }[R_{t+1}+\gamma V_{\pi }(S_{t+1})|S_t=s](贝尔曼方程)\end{array}$$
其中$\pi$指的是在当前状态下采取动作、到下一个状态的概率分布，也就是策略。
上式中最后一步即为贝尔曼方程，即：
$$V(s)=E_{\pi }[R_{t+1}+\gamma V_{\pi }(S_{t+1})|S_t=s]$$
贝尔曼方程的作用？
当前状态的价值可以由下一步状态的价值来表示，从而迭代求取状态价值函数。
根据Bellman方程求解状态价值函数的过程总体如下：给定一个简单的转移概率图，由于当前状态$S$到所有可能的下一个状态$S^{{}^{\prime }}$的转移概率$P$都不同，因此对他们相应的下一个状态的价值函数加权求平均，可以得到最后的$V(s)$:
$$V_s=R_S+\gamma {\sum }_{S^{{}^{\prime }}\in S}{P}_{S{S}^{{}^{\prime }}}{V}_{S^{{}^{\prime }}}$$
状态价值函数的物理意义：我当前在这个状态，未来可能获得多少收益。比如踢足球，梅西在足球场的不同位置拿球，位置的坐标就是状态，而不同位置相应的进球的概率也会不一样，所以相应的价值函数也不会不同。

2.1.5Bellman方程的矩阵形式

Bellman方程的矩阵形式：
$$\mathbf{V}=\mathbf{R}+\gamma \mathbf{PV}$$
即：
$$\left[\begin{array}{c}v(1)\\ ⋮\\ v(n)\end{array}\right]=\left[\begin{array}{c}R(1)\\ ⋮\\ R(n)\end{array}\right]+\gamma \left[\begin{array}{ccc}{P}_{11}& \dots & P_{1n}\\ ⋮& \ddots & ⋮\\ P_{n1}& \dots & P_{nn}\end{array}\right]\left[\begin{array}{c}v(1)\\ ⋮\\ v(n)\end{array}\right]$$
此时，如果是一个model-based的方法，状态转移概率矩阵$P$就是已知的，可以直接有如下推导：
$$\begin{array}{rl}& \mathbf{V}=\mathbf{R}+\gamma \mathbf{PV}\\ & (1-\gamma \mathbf{P})\mathbf{V}=\mathbf{R}\\ & \mathbf{V}=(1-\gamma \mathbf{P}{)}^{-1}\mathbf{R}\end{array}$$
实际应用中，很难有机会能直接用这个公式求解，因为$\mathbf{P}$通常可能的维度$n$是非常高的，或非常稀疏的矩阵。对于$n$个状态，计算时间复杂度为$O(n^3)$。当n比较小时，可直接计算；当n较大时，需采用迭代方法来求解，如：动态规划、蒙特卡洛评估、时序差分学习。

2.1.6马尔科夫决策过程(Markov decision process)

马尔科夫决策过程(Markov decision process)：马尔科夫决策过程由元组$(S,A,P,R,\gamma )$描述，其中：
$$\begin{gathered} S为有限状态的集 \\ A为有限动作的集 \\ P为状态转移概率 \\ R为回报函数：R_s=E[R_{t+1}|S_t=s] \\ \gamma 为折扣因子：\gamma \in [0,1] \end{gathered}$$
MDP$(S,A,P,R,\gamma )$和MRP$(S,P,R,\gamma )$的区别？
MRP仅显式的给出的是状态间的转移过程、隐含了实际执行了什么动作。
MDP的状态转移概率包含确切的动作，同一个状态下可以通过不同的具体动作、获得不同的具体奖励进入到下一个状态，即：
$$P_{S{S}^{{}^{\prime }}}^a=P[S_{t+1}=s^{{}^{\prime }}|S_t=s,A_{t=a}]$$

2.2策略

一个智能体(agent)可以由以下部分中一个或多个组成：
策略(Policy)：智能体做出决策的部分。
价值函数(Value Function)：评价状态或动作好坏的函数。
模型(Model)：智能体对环境的建模。
策略$\pi$是决定个体行为的机制，通常表达为从当前状态到可能的动作的条件概率，第一种为随机性策略,同一个状态下有多种可能动作，即：
$$\pi (a|s)=P(A_t=a|S_t=s)$$
第二种为确定性策略，同一个状态下确定地做出一个具体的动作，即：
$$a=\pi (s)$$
一个策略完整表示了一个个体的行为方式，也就是说定义了个体在各个状态下的各种可能的行为方式及其概率的大小。强化学习输出的一般就是策略，这个策略让智能体去打篮球、踢足球、玩星际争霸、下围棋，本质上都是不断地观测状态、做出行为。策略仅和当前状态有关，与历史信息无关；同时，某一确定的策略是静态的，与时间无关；但是，智能体可以随着时间更新策略。

2.3价值函数

相比马尔科夫奖励过程(MRP)仅考虑状态，我们在马尔科夫决策过程(MRD)要考虑具体动作。

2.3.1重新定义状态价值函数和动作价值函数

状态价值函数$V_{\pi }(s)$：从状态$s$出发，遵循策略$\pi$，从而能得到的期望累计奖励，即:
$$\begin{array}{rl}{V}_{\pi }(s)& =E_{\pi }[G_t|S_t=s]\\ V_{\pi }(s)& =E_{\pi }[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...|S_t=s]\\ V_{\pi }(s)& =E_{\pi }[R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...)|S_t=s]\\ V_{\pi }(s)& =E_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ V_{\pi }(s)& =E_{\pi }[R_{t+1}+\gamma V_{\pi }(S_{t+1})|S_t=s](贝尔曼方程)\end{array}$$
动作价值函数$Q_{\pi }(s,a)$：从状态$s$出发，采取动作$a$,然后遵循策略$\pi$，从而能得到的期望累计奖励，即:
$$\begin{array}{rl}{Q}_{\pi }(s,a)& =E_{\pi }[G_t|S_t=s,A_t=a]\\ Q_{\pi }(s,a)& =E_{\pi }[R_{t+1}+\gamma V_{\pi }(S_{t+1})|S_t=s,A_t=a]\\ Q_{\pi }(s,a)& =E_{\pi }[R_{t+1}+\gamma Q_{\pi }(S_{t+1},a^{{}^{\prime }})|S_t=s,A_t=a](贝尔曼方程)\end{array}$$

2.3.2状态价值函数和动作价值函数之间的关系

a.状态价值函数由动作价值函数表示
状态$s$的价值可以表示为：在状态$s$下，遵循$\pi$策略，采取所有可能动作的价值，按所有动作发生概率的乘积求和，即：
$$v_{\pi }(s)={\sum }_{a\in A}\pi (a|s)q_{\pi }(s,a)$$
b.动作价值函数由状态价值函数表示
状态$s$下，采取一个动作的价值，可以由两部分表示：一是离开这个状态的状态价值；二是所有进入新的状态的状态价值与其转移概率乘积的和，即：
$$q_{\pi }(s,a)=R_s^a+\gamma {\sum }_{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a{v}_{\pi }(s^{{}^{\prime }})$$
c.策略$\pi$与状态转移概率$p$相结合的Bellman方程
联立以上两方程，互相交换表示项，可以得到以下两个方程：
$$\{\begin{array}{rl}& v_{\pi }(s)={\sum }_{a\in A}\pi (a|s)(R_s^a+\gamma {\sum }_{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a{v}_{\pi }(s^{{}^{\prime }}))\\ & q_{\pi }(s,a)=R_s^a+\gamma {\sum }_{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a{\sum }_{a^{{}^{\prime }}\in A}\pi (a^{{}^{\prime }}|s^{{}^{\prime }})q_{\pi }(s^{{}^{\prime }},a^{{}^{\prime }})\end{array}$$
由此，我们得到了策略$\pi$与状态转移概率$p$相结合的两种Bellman方程，并且均可以递归求解。

2.3.3最优价值函数

假设我们能够知道转移概率是多少，在给定奖励函数下，我们可以在有限多个状态的穷举中，找到最优策略${\pi }_{\ast }$，从而最大化累计奖励，由此，产生两个新的概念：最优状态价值函数$v_{\ast }(s)$、最优动作价值函数$q_{\ast }(s,a)$。
最优状态价值函数$v_{\ast }(s)$:从所有策略产生的状态价值函数中，选取使状态s价值最大的函数，即:
$$v_{\ast }(s)=\underset{\pi }{\max }{v}_{\pi }(s)$$
最优动作价值函数$q_{\ast }(s,a)$:从所有策略产生的动作价值函数中，选取状态动作对$<s,a>$价值最大的函数，即:
$$q_{\ast }(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)$$
最优价值函数明确了MDP的最优可能表现，当知道了最优价值函数，也就知道了每个状态的最优价值，这时便认为这个MDP获得了解决。
最优策略${\pi }_{\ast }$:当对于任何状态$s$，遵循策略${\pi }^{{}^{\prime }}$的价值，不小于遵循策略$\pi$下的价值，则策略${\pi }^{{}^{\prime }}$优于策略$\pi$，即：
$$\forall s,v_{{\pi }^{{}^{\prime }}}(s)\ge v_{\pi }(s)⟹{\pi }^{{}^{\prime }}\ge \pi$$
MDP三定律：对于任何MDP，下面三点恒成立
a.存在一个最优策略，比任何其他策略更好或至少相等；
b.所有的最优策略有相同的最优状态价值函数；
c.所有的最优策略具有相同的最优动作价值函数。
由了上述定义，就可以通过最大化最优动作价值函数来找到最优策略：
$${\pi }_{\ast }(a|s)=\{\begin{array}{rl}& 1,ifa=\underset{a\in A}{\mathrm{argmax}}{q}_{\ast }(s,a)\\ & 0,otherwise\end{array}$$
也就是说，对于任何MDP问题，总存在一个确定性的最优策略；同时如果知道最优动作价值函数，则表明找到了最优策略。

2.4模型（Model）

模型(Model)指对智能体所处环境的建模，体现了智能体是如何思考环境运行机制的，模型至少要解决如下两个问题。
问题一：状态转移概率$P_{s{s}^{{}^{\prime }}}^a$，即在状态$s$下采取动作$a$，转移到下一状态$s^{{}^{\prime }}$的概率：
$$P_{s{s}^{{}^{\prime }}}^a=E[S_{t+1}|S_t=s,A_t=a]$$
问题二：即时奖励$R_s^a$，即在状态$s$下采取动作$a$，所立即能得到的期望奖励:
$$R_s^a=E[R_{t+1}|S_t=s,A_t=a]$$

3.动态规划

动态规划（Dynamic Programming，DP）是一种用于解决具有如下两个特性问题的通用算法：
a.优化问题可以分解为子问题
b.子问题出现多次并可以被缓存和复用。
马尔可夫决策过程符合这两个特性，因为贝尔曼方程给定了迭代过程的分解，而价值函数保存并复用了解决方案。
动态规划应用于马尔可夫决策过程的规划问题而不是学习问题，我们必须对环境是完全已知的，才能做动态规划，也就是要知道状态转移概率和对应的奖励。
使用动态规划完成预测问题和控制问题的求解，是解决马尔可夫决策过程预测问题和控制问题的非常有效的方式。
使用DP方法推导MDP过程：
a.预测问题：输入MDP为$<S,A,P,R,\gamma >$和策略$\pi$，输出价值函数$V_{\pi }$。
b.控制问题：输入MDP为$<S,A,P,R,\gamma >$，输出最优价值函数$V_{\pi }^{\ast }$和最优策略${\pi }^{\ast }$。

3.1策略迭代方法（Policy Iteration）

策略迭代方法分为两个过程：策略评估和策略提升。
策略评估：在当前的策略$\pi$中更新各状态的价值函数$v(s)$，如果达到最大迭代次数$K$或者价值函数收敛便停止，即:
$$V_{k+1}(s)={\sum }_{a\in A}\pi (a|s)(R_s^a+\gamma {\sum }_{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a{v}_k(s^{{}^{\prime }}))$$
策略提升：基于当前价值函数得到最优策略，也就是贪心策略。
$${\pi }_{k+1}=\underset{a\in A}{\mathrm{argmax}}{Q}_{\pi }(s,a)$$
一次完整的策略迭代过程：K次策略评估+1次策略提升。
策略迭代本质上是一个典型的动态规划方法，但是如果策略空间很大，那么策略评估就会很耗时；如果策略评估迟迟难以收敛，那么策略提升的效果也会非常有限。

3.2价值迭代算法（Value Iteration）

每次价值迭代都找到让当前价值函数最大的更新方式，并且用这种方式更新价值函数，直到价值函数不再变化，即：
$$V^{\ast }(s)⟵\underset{a\in A}{\max }(R_s^a+\gamma {\sum }_{s^{{}^{\prime }}\in S}{P}_{s{s}^{{}^{\prime }}}^a{v}_k(s^{{}^{\prime }}))$$
价值迭代与策略迭代的区别，就是在值迭代过程中，算法不会给出明确的策略，迭代过程期间得到的价值函数，不对应任何策略。
策略迭代与价值迭代的区别与联系：
a.策略迭代是累计平均的计算方式，价值迭代是单步最好的方式。
b.价值迭代速度更快，尤其是在策略空间较大的时候。
c.策略迭代更接近于样本的真实分布
然而，能够知晓状态转移概率、也就是model-based的问题还是比较少的，在很多实际问题中，我们往往无法得到环境的全貌，状态转移概率也就无从得知，也就是model-free的问题更加普遍。

4.蒙特卡罗算法

4.1算法概念

4.1.1基本思想

许多情况下我们不清楚MDP的真实状态转移概率或即时奖励，而蒙特卡洛（Monte Carlo，简称MC）方法的一个最基本思想是：对各个状态进行一轮轮的重复访问，当访问的回合数足够多的时候，我们最终可以得到趋近于真实的价值评估结果。
从理论角度，这一方法的思想起源于大数定律、中心极限定理，即：通常情况下某个状态的价值等于在多个回合中以该状态算得到的所有奖励的平均，样本数量越大，结果越接近奖励期望：
$$V(s)=\frac{1}{N}\sum _{i=1}^n[r_1^i+r_2^i+\dots ]$$

4.1.2First-visit和Every-visit

对于不知道状态转移概率的情况下，蒙特卡洛方法通过不断试错的方式，生成大量的马尔科夫链来估计状态价值，估计的方法主要由两种:First-visit和Every-visit。
First-visit：计算状态$s$处的值函数时，只利用每个回合中第一次访问到状态$s$时返回的值，也就是说，通过多次MDP，获得了多个future reward，把这些加起来求评价，得到$V(s)$.
Every-visit：在计算状态$s$处的值函数时，利用所有MDP中访问到的每一次状态$s$时的奖励返回值求平均，得到$V(S)$。
First-visit方法相比Every-visit的好处是方差较小。

4.1.3蒙特卡洛流程

每进入一个MDP，由于一个序列的平均值可以迭代进行计算，因此对于回合里的每一个状态$s_t$，都有一个累积折扣奖励$G_t$，每碰到一次
$s_t$，我们可以使用下面的式子计算状态的平均价值$V(s)$:
$$\begin{array}{rl}& N（s_t）⟵N（s_t）+1\\ & V(s_t)⟵V(s_t)+\frac{1}{N(s_t)}(G_t-V(s_t))\end{array}$$
上述第一个公式，First-visit时每轮过程只统计一次，Every-visit就讲次数累加。
上述第二个公式用来进行价值函数的更新。

4.1.4蒙特卡洛的优缺点

优点:
a.方法的误差与问题的维数无关，例如状态空间的大小不会影响该方法的性能。
b.对于具有统计性质问题可以直接进行解决。
c.对于连续性的问题不必进行离散化处理。
缺点:
a.对于确定性问题需要转化成随机性问题，因为如果策略是确定性的，那将难以得到多样化的马尔科夫链。
b.误差是概率误差，取决于大数定律。
c.通常需要较多的计算步数N。

4.2探索与利用

在强化学习里面，探索和利用是两个很核心的问题。
探索：探索即我们去探索环境，通过尝试不同的动作来得到最佳的策略（带来最大奖励的策略），通过试错来理解采取的动作到底可不可以带来好的奖励。
利用：即我们不去尝试新的动作，而是采取已知的可以带来很大奖励的动作，直接采取已知的可以带来很好奖励的动作。
探索利用策略有很多种，以下总结几种最常用的策略。

4.2.1$ϵ$-greedy

以某一个小概率$ϵ$去选择一个随机的动作作为探索，而其余的大部分概率去选择能够给我最大价值的那个动作作为利用，公式表达为：
$$ϵ-greedy\{\begin{array}{rl}& RandomAction,ifp<ϵ\\ & \arg \underset{a}{\max }Q(s,a),ifϵ<p<1\end{array}$$
具体来说，每次行动前，生成随机数$P\in (0,1)$，若随机数$P>ϵ$，则采用贪心算法选择最大化Q值的动作；若$P<ϵ$则随机采取动作空间中的某一动作。
优点：计算容易，不需要复杂的计算公式，能保证充分探索所有状态。
缺点：需要大量探索，数据利用率低，因为虽然智能体绝大多数时间都选取的是Q值最大的动作，但此时的最优动作不代表最优策略，依然需要非常长时间的探索，甚至想要获得一个最优策略需要无限多的时间（取决于状态的数量以及$ϵ$大小）。

4.2.2Boltzmann strategy

Q值越大的动作有更大的概率被选择，而若两个动作具有接近的Q值，则二者都应有几率被选择。换句话说，Boltzmann策略不再选取Q值最大的动作，而是根据Q值输出动作的概率分布，根据分布从中随机选取一动作，即：
$$\pi (a|s)=\frac{e^{kQ(s,a)}}{{\sum }_{a^{{}^{\prime }}}{e}^{kQ(s,a^{{}^{\prime }})}}$$
其中，k作为一个常数，负责对Q的量纲进行调整，修整概率分布的形状，实现对探索/利用的鼓励。

4.2.3 高斯策略（Gaussian strategy）

对于确定性策略的动作${\mu }_{\theta }$，添加高斯噪声$ϵ$来达到增强探索的目的，即：
$${\pi }_{\theta }={\mu }_{\theta }+ϵ,ϵ\sim N(0,{\sigma }^2)$$
随着强化学习训练的推进，可以将噪声设置得越来越小，以达到对探索与利用的平衡。

4.3多臂赌博机问题（单步强化学习-蒙特卡洛）

4.3.1基本概念

问题简介：一个赌徒，要去摇老虎机，走进赌场一看，一排老虎机，外表一模一样，但是每个老虎机吐钱的概率可不一样，他不知道每个老虎机吐钱的概率分布是什么，那么每次该选择哪个老虎机可以做到最大化收益呢？这就是经典的多臂赌博机问题 (Multi-armed bandit problem, K- or N-armed bandit problem, MAB)。此时状态和动作均为各个赌博机的“摇把”情况，奖励就是是否最终成功吐钱。
$k$臂赌博机问题因为通常只有单步，且不严格区分状态、动作，因此也被认为是马尔可夫决策过程的特殊简化形式。
在$k$臂赌博机问题中，$k$个动作的每一个在被选择时都有一个期望或者平均收益，称之为这个动作的“价值”。令$t$时刻选择的动作为$A_t$，对应的收益为$R_t$，任一动作a对应的价值为$q_{\ast }(a)$，即给定动作$a$时收益的期望：
$$q_{\ast }(a)=E[R_t|A_t=a]$$
如果持续对动作的价值进行估计，那么在任一时刻都会至少有一个动作的估计价值是最高的，将这些对应最高估计价值的动作成为贪心的动作。
当从这些动作中选择时，称此为“利用”当前所知道的关于动作的价值的知识。
如果不是如此，而是选择非贪心的动作，称此为“探索”，因为这可以让你改善对非贪心动作的价值的估计。
利用”对于最大化当前这一时刻的期望收益是正确的做法，但是“探索”从长远来看可能会带来总体收益的最大化。到底选择“利用”还是“探索”一种复杂的方式依赖于我们得到的函数估计、不确定性和剩余时刻的精确数值。

4.3.2十臂赌博机之$ϵ$-greedy

以10臂赌博机为例，赌场工作人员在你玩之前都会对老虎机做一番调校，此时动作的收益分布如下图所示，横轴是不同老虎机的动作，纵轴是该老虎机的收益概率分布，例如3号赢的概率比6号要大。

使用$ϵ$-greedy算法，分布令$ϵ$为0（贪心策略），0.01，0.1时，平均收益如下：

最优动作占比随训练步数的变化情况：

$ϵ$-greedy在进行尝试时是盲目地选择，因为它不大会选择接近贪心或者不确定性特别大的动作。

4.3.3十臂赌博机之UCB

在非贪心动作中，最好是根据它们的潜力来选择可能事实上是最优的动作，这要考虑它们的估计有多接近最大值，以及这些估计的不确定性。因此，另一种基于置信度上界（Upper Confidence Bound，UCB）思想也非常流行，它选择动作依据如下：
$$A_t\doteq \arg \underset{a}{\max }[Q_t(a)+c\sqrt{\frac{\ln t}{N_t(a)}}]$$
其中，$N_t(a)$表示在t时刻之前动作a被选择的次数，$c>0$用于控制探索的程度。平方根项是对a动作值估计的不确定性或方差的度量，最大值的大小是动作a的可能真实值得上限，参数c决定了置信水平。也就是说，如果当前的动作具有很大的价值，那么我们很容易选择这个动作；如果当前的动作被选了很多次，那么我们下一次就倾向于不选择这个动作；抛开该动作被选择的频率，如果时间越来越久，那样我们可以考虑重新选择这个动作。
UCB和$ϵ$-greedy比较，可以看到UCB的效率要高点：

4.3.3十臂赌博机之梯度赌博机法

针对每个动作$a$，考虑学习一个数值化的偏好函数$H_t(a)$，评价动作的好坏。偏好函数越大，动作就越频繁地被选择，但偏好函数的概念并不是从“回报”的意义上提出的。基于随机梯度上升的思想，在每个步骤中，在选择动作$A_t$并获得收益$R_t$之后，偏好函数都会按如下方式更新：
$$\begin{gathered} H_{t+1}(A_t)\doteq H_t(A_t)+\alpha (R_t-{\bar{R}}_t)(1-{\pi }_t(A_t)) \\ {H}_{t+1}(a)\doteq H_t(a)+\alpha (R_t-{\bar{R}}_t){\pi }_t(a),foralla\ne A \end{gathered}$$
其中，$\alpha$表示步长，${\bar{R}}_t$示时刻$t$内所有回报的平均值，作为比较回报的一个基准项，如果回报高于它，那么在未来选择动作$A_t$的概率就会增加，反之概率就会降低，未选择的动作被选择的概率会上升。
上述公式的物理意义是，我们看当前收益和选择了这个动作之后的历史平均收益的差，如果当前收益大于这个平均的收益，说明我当前这个动作是个“好动作”，应该鼓励选取，反之则是一个“坏动作”，应该降低选取概率。
${\pi }_t(a)$表示动作$a$在$t$时刻被选择的概率，所有偏好函数的初始值都相同(可为0)。

4.3.4算法比较

a.$ϵ$-greedy方法在一段时间内进行随机的动作选择；
b.UCB 方法虽然采用确定的动作选择，但可以通过每个时刻对具有较少样本的动作进行优先选择来实现探索；
c.梯度赌博机算法则不估计动作价值，而是利用偏好函数，使用softmax分布来以一种分级的、概率式的方式选择更优的动作；
d.简单地将收益的初值进行乐观的设置，可以让贪心方法也能进行显式探索。

5.时序差分算法

5.1算法概念

前面在model-free的动态规划问题中讲到了蒙特卡洛方法，然而蒙特卡洛方法需要等到整个回合结束、获取具体收益$G_t$后才能更新，并且需要大量的回合才能得到较为准确的结果。而时序差分（Temporal-Difference，TD）算法，不使用完整回合，就可以实现单步或几步的更新。这类方法也是现在深度强化学习算法的主要基础。
以单步更新的TD(0)算法为例，此时总奖励$G_t$不再引入整个回合的未来折扣奖励，而是变为：
$$G_t=R_{t+1}+\gamma V(S_{t+1})$$
由于时序差分算法中不需要完整的回合，因此没有了$\frac{1}{N(s_t)}$，使用系数$\alpha \in [0,1]$（即“学习率”）来代替；原有的MC error $G_t-V(s_t)$替换为TD error $R_{t+1}+\gamma V(S_{t+1})-V(s_t)$
$$\begin{gathered} V(s_t)⟵V(s_t)+\frac{1}{N(s_t)}(G_t-V(s_t)) \\ V(s_t)⟵V(s_t)+\alpha (R_{t+1}+\gamma V(S_{t+1})-V(s_t)) \end{gathered}$$
TD算法并不是只能考虑下一步，当$n$的取值不同时，$G_t$的取值会不同：
$$\begin{array}{rl}& n=1,G_t^1=R_{t+1}+\gamma V(S_{t+1})TD方法\\ & n=2,G_t^2=R_{t+1}+\gamma R_{t+2}+{\gamma }^{2}aV(S_{t+2})TD方法\\ & \cdots \\ & n=\infty ,G_t^{\infty }=R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{T-1}{R}^{T}MC方法\end{array}$$
根据上式，n步的TD-learning可以表示为：
$$V(s_t)⟵V(s_t)+\alpha (G_t^n-V(s_t))$$
那么n为多少时，效果最好？答案是需要超参数调参。引入$\lambda$来综合所有的步数，即：
$$G_t^{\lambda }=(1-\lambda )\sum _{n=1}^{\infty }{\lambda }^{n-1}{G}_n^t$$
由此，我们得到了TD($\lambda$)算法：
$$V(s_t)⟵V(s_t)+\alpha (G_t^{\lambda }-V(s_t))$$

5.2MC,TD,DP算法比较

MC和TD：
a.MC方法是回合更新，打完一局游戏一更新；而TD方法可以做到单步更新，每踢一脚球、每射击一下都能进行更新。
b.MC方法一定需要完整的回合之后才能更新，而TD方法不需要完整回合。
c.MC方法是高方差、零误差的，因为我们有大数定律、穷举法的方法，但对过程中的各种状态的多样性非常敏感，因此高方差；而TD方法是低方差、有误差的。
d.MC方法没有体现出马尔科夫性质，因为马尔科夫性讲的是我当前状态只和前一个状态有关，而MC方法需要知道所有状态；相应地，TD方法体现出了马尔科夫性质。
e.MC方法对初值不敏感，因为可以通过不断地模拟整个回合，来最终修正到真值；但是TD方法对初值就敏感了，因为如果初始状态不合适，每一步TD的误差都会不断累积，而好的初始状态就会减少学习需要的步数。
MC更新更像是深度优先搜索，DP更新更像是广度优先搜索，搜索空间更大，但这里的广度是需要对当前状态到下一步所有状态有一个显式的状态转移模型来保证的，而MC、TD算法都是model-free的。
从另一个角度，在更新方式方面，以穷尽搜索作为baseline，三种算法也有如下差异：
TD方法：更新某一动作转移到的状态价值函数。
DP方法：更新所有可能转移到的状态价值函数（增加更新广度）。
MC方法：更新整个回合的所有状态价值函数（增加更新深度）。

6.Q-learning算法

6.1算法简介

Q-learning是一种无模型即model-free RL的形式，它也可以被视为异步DP的方法。它通过体验行动的后果，使智能体能够在马尔可夫域中学习以最优方式行动，而无需构建域的映射。学习的过程类似于TD方法：智能体在特定状态下尝试行动，并根据其收到的即时奖励或处罚以及对其所处状态的值的估计来评估其后果。通过反复尝试所有状态的所有行动，它可以通过长期折扣奖励来判断总体上最好的行为。

6.2算法流程

使用$ϵ-greedy$算法的Q-learning，在选取动作时，使用如下公式：
$$ϵ-greedy\{\begin{array}{rl}& RandomAction,ifp<ϵ\\ & \arg \underset{a}{\max }Q(s,a),ifϵ<p<1\end{array}$$
在更新Q值矩阵时，使用如下公式：
$$Q(S,A)\leftarrow Q(S,A)+[R(s,a)+\gamma \underset{a}{\max }Q(S^{{}^{\prime }},A)-Q(S,A)]$$

由上述可知，Q-learning可以把策略的选择变成了比不同状态值大小的问题。
虽然我们会探索很多个回合、会开启多次不同的马尔科夫链，但是我们始终维持着一个Q表。虽然Q-learning算法的更新方式更类似TD方法，但它也隐含了一点MC方法的启发，因为它同样需要模。拟众多回合才能维持对价值的准确估计。

6.3影响Q学习的因素

$$Q(S,A)\leftarrow Q(S,A)+[R(s,a)+\gamma \underset{a}{\max }Q(S^{{}^{\prime }},A)-Q(S,A)]$$
学习率（或步长）：由上述公式可知，$[R(s,a)+\gamma {\max }_{a}Q(S^{{}^{\prime }},A)-Q(S,A)]$可以理解为新的知识。因此，$\alpha$确定了新获取的信息在多大程度上覆盖旧信息。此时一个合理的学习率可以更好地平衡新旧知识的权重。类似其它梯度下降的案例，学习率是q-learning算法的重要超参，且学习率不一定越大越好，过大的学习率可能会让我们最终偏离最优的策略。当问题是随机的时，算法在某些技术条件下收敛于需要将其减小到零的学习速率，甚至需要动态的自适应学习率机制。
折扣因子：折扣因子$\lambda$决定了未来奖励的重要性。
初始条件$Q_0$：Q-learning是迭代算法，因此它隐含地假定在第一次更新发生之前的初始条件；高初始值，也称为**“乐观初始条件”或“乐观估计”，可以鼓励探索**。当然过高的估计在整个学习过程中也是有问题的。

6.4算法变种——SARSA算法

同样基于TD方法的还有SARSA算法，与Q-learning算法的区别在于Q函数的更新方式。

6.4.1流程

从第8行可以看到SARSA并没有选择Q值最大的动作来更新Q函数，仍然使用$ϵ$-greedy策略来选择动作进行更新。Q-learning是off-policy，SARSA是on-policy。

6.4.2SARSA($\lambda$)

SARSA是一种单步更新法,也称为SARSA(0)方法，只更新获取到奖励前所经历的最后一步，那么能不能结合蒙特卡洛方法的思想，更新获取奖励前所经的回合中的每一步呢，即回合更新？这就需要我们定义一个变量$\lambda$，用来表示对回合中每步动作的重视程度，即SARSA($\lambda$)算法，流程如下。相比SARSA(0)算法，SARSA($\lambda$)增加了路径矩阵$E(S,A)$。路径矩阵$E(S,A)$用来保存回合中所经历的每一步，每访问一次其数值$+1$，并且矩阵数值会根据$\lambda$不断进行衰减，保证了离奖励越近的步骤越重要:

第10行可以看到SARSA是对路径上的所有状态进行更新，若是未访问状态，其$E(S,A)=0$,对应$Q$值不会被更新。并且，从第12行可以看到$E(S,A)$会根据$\lambda$衰减，保证了离奖励越近的time step越重要。$\lambda$的选取具有以下物理意义：
$\lambda =0$，更新只关注获取奖励前的一步
$\lambda \in (0,1)$，更新对获取奖励前的每一步动作关注度依次递减
$\lambda =1$，更新对获取奖励前的每一步动作关注度相等

6.4.3Q-learning与SARSA的比较

a.SARSA是on-policy算法，行动策略为$\lambda$-greedy，评估策略为
$\lambda$-greedy。SARSA的学习方式比较保守稳健，每一个回合的每个动作都会执行$\lambda$-greedy探索，但会导致学习过程变长。
b.Q-learning是off-policy算法，行动策略为$\lambda$-greedy，评估策略为贪心策略。不同于SARSA，Q-learning倾向于利用经验的积累，每次采用Q值最大的动作去学习最优策略，但缺点也在在这一点上。因为我始终使用的是最大的Q进行更新，在反复迭代后，我会对各个状态的价值存在较高估计，因此学习过程存在风险。
这种反复更新Q表的方式叫做自举(bootstrapping)方式。

7.策略梯度（Policy Gradient）算法

7.1 算法简介

上述讲解的均为基于值(value-based)的方法，在处理一些问题中，Q表有明显的局限性，比如没有显式地表达策略，难以处理高维度乃至无穷尽的状态/动作空间。有没有什么方法可以不迭代更新Q表，而是直接迭代更新策略本身？由此我们介绍策略梯度（Policy Gradient）算法，它也是深度强化学习算法的另一个重要鼻祖。
基于值（value-based）的方法：通过近似值函数$V_{\pi }^{\ast }(s),Q_{\pi }^{\ast }(s)$，从而间接得到最优策略${\pi }^{\ast }(s)$。
基于策略（policy-based）的方法：直接参数化策略${\pi }_{\theta }(a|s)=P(a|s,\theta )$。这里的$\theta$指参数，例如在深度强化学习中，用神经网络来表征这个策略，此时$\theta$也可以代指神经网络的权值$w$（weights），即：在不断的学习过程中，我最终可以学好神经网络的所有参数。因此，如何更新策略，也就是如何更新$\theta$的问题。

7.2 算法推导

目标函数：
$$J(\theta )=\sum _{\tau }{p}_{\theta }(\tau )f(\tau )$$
其中：
$\theta$表示当前策略$\pi$的参数
$\tau$表示轨迹或一条马尔科夫链
$p_{\theta }(\tau )$表示由策略${\pi }_{\theta }$产生轨迹的概率分布
$f(\tau )$表示轨迹的评价函数
根据马尔可夫性质，一个轨迹$\tau$出现的概率$p_{\theta }(\tau )$，可以拆分表示为每一步选取动作的概率、状态转移概率相累乘的形式：
$$\begin{array}{rl}{p}_{\theta }(\tau )=& p_{\theta }(s_0,a_0,s_1,a_1,\dots ,s_T)\\ =& p(s_0){\pi }_{\theta }(a_0|s_0)p(s_1|a_0,s_0){\pi }_{\theta }(a_1|s_1)p(s_2|a_1,s_1)\\ & \dots {\pi }_{\theta }(a_{T-1}|s_{T-1})p(s_T|a_{T-1},s_{T-1})\\ =& p(s_0)\prod _{t=0}^{T-1}{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|a_t,s_t)\end{array}$$
Policy Gradient算法的优化目标是最大化策略${\pi }_{\theta }$产生轨迹的奖励，以Reinforce算法为例，将轨迹评价函数定义为折扣奖励$G$，即：
$$f(\tau )=G(\tau )=\sum _{t=0}^{T-1}{\gamma }^t{R}_t$$
则其目标函数为：
$$J(\theta )=\sum _{\tau }{p}_{\theta }(\tau )G(\tau )$$
使用梯度计算推导策略最优的$\theta$：
$$\begin{array}{rl}{▽}_{\theta }J(\theta )=& {▽}_{\theta }(\sum _{\tau }{p}_{\theta }(\tau )G(\tau ))\\ =& \sum _{\tau }{▽}_{\theta }{p}_{\theta }(\tau )G(\tau )\\ =& \sum _{\tau }{p}_{\theta }(\tau )\frac{1}{p_{\theta }(\tau )}{▽}_{\theta }{p}_{\theta }(\tau )G(\tau )\\ =& \sum _{\tau }{p}_{\theta }(\tau ){▽}_{\theta }\log (p_{\theta }(\tau ))G(\tau )\\ =& \sum _{\tau }{p}_{\theta }(\tau ){▽}_{\theta }\log (p(s_0)\prod _{t=0}^{T-1}{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|a_t,s_t))G(\tau )\\ =& \sum _{\tau }{p}_{\theta }(\tau ){▽}_{\theta }(\log p(s_0)+\sum _{t=0}^{T-1}\log {\pi }_{\theta }(a_t|s_t)+\sum _{t=0}^{T-1}\log p(s_{t+1}|a_t,s_t))G(\tau )\\ =& \sum _{\tau }{p}_{\theta }(\tau ){▽}_{\theta }(\sum _{t=0}^{T-1}\log {\pi }_{\theta }(a_t|s_t))G(\tau )\\ =& E_{\tau }[{▽}_{\theta }(\sum _{t=0}^{T-1}\log {\pi }_{\theta }(a_t|s_t))G(\tau )]\\ =& E_{\tau }[\sum _{t=0}^{T-1}{▽}_{\theta }\log {\pi }_{\theta }(a_t|s_t)G(\tau )]\end{array}$$

7.3算法流程

8.Actor-Critic算法

Policy Gradients需要回合更新，是一种更接近MC的方法，降低了学习效率；而Q-learning不需要回合更新，但无法处理高维的状态/动作空间。可不可以将二者结合？因此，学术界提出了Actor-Critic算法，用两套参数进行近似：Actor参数对策略函数近似，输出动作分布；Critic参数对价值函数近似，评价Actor的动作。在深度强化学习中，Actor、Critic通常由不同的神经网络表示。

8.1算法分析

策略梯度的更新目标：
$${▽}_{\theta }J(\theta )=E_{\tau }[\sum _{t=0}^{T-1}{▽}_{\theta }\log {\pi }_{\theta }(a_t|s_t)G(\tau )]$$
使用真实的Q函数$Q^{\pi \theta }$代替$G(\tau )$，使用蒙特卡洛采样估计策略梯度，省略下标$t$后，得到一个简化的策略梯度估计:
$${▽}_{\theta }J(\theta )=E_t[{▽}_{\theta }\log {\pi }_{\theta }(a|s)Q^{\pi \theta }(s,a)]$$
要结合Policy Gradient和Q-learning，就要先估计$Q^{\pi \theta }$，可以使用$Q_w$估计$Q^{\pi \theta }$，即：
$$Q_w\approx Q^{\pi \theta }\to {▽}_{\theta }J(\theta )\approx E_t[{▽}_{\theta }\log {\pi }_{\theta }(a|s)Q_w(s,a)]$$
当同时满足以下两个条件时，等号成立：
条件1：参数$w$是$Q^{\pi \theta }$(s,a)和$Q_w$的均方误差的极小值点，即：
$$w^{\ast }=\arg \underset{w}{\min }{E}_{\pi \theta }[(Q^{\pi \theta }(s,a)-Q_w(s,a){)}^2]$$
二是值估计和策略估计是兼容（compatible）的，即:
$${▽}_w{Q}_w={▽}_{\theta }\log {\pi }_{\theta }$$
满足以上两个条件，则：
$${▽}_{\theta }J(\theta )=E_t[{▽}_{\theta }\log {\pi }_{\theta }(a|s)Q_w(s,a)]$$

8.2条件证明

如果满足条件1：
$$w^{\ast }=\arg \underset{w}{\min }{E}_{\pi \theta }[(Q^{\pi \theta }(s,a)-Q_w(s,a){)}^2]$$
则：
$$\begin{array}{rl}& {▽}_w{E}_{\pi \theta }[(Q^{\pi \theta }(s,a)-Q_w(s,a){)}^2]=0\\ ⟹& {▽}_w{E}_{\pi \theta }[Q^{\pi \theta }(s,a{)}^2-2Q^{\pi \theta }(s,a)Q_w(s,a)+Q_w(s,a{)}^2]=0\\ ⟹& E_{\pi \theta }[-2Q^{\pi \theta }(s,a){▽}_w{Q}_w(s,a)+2{▽}_w{Q}_w(s,a)]=0\\ ⟹& E_{\pi \theta }[(Q^{\pi \theta }(s,a)-Q_w(s,a)){▽}_w{Q}_w(s,a)+]=0\end{array}$$
如果满足条件2：
$${▽}_w{Q}_w={▽}_{\theta }\log {\pi }_{\theta }$$
根据条件一的推论，则：
$$E_{\pi \theta }[(Q^{\pi \theta }(s,a)-Q_w(s,a)){▽}_{\theta }\log {\pi }_{\theta }]=0$$
因此：
$$\begin{array}{rl}{▽}_{\theta }J(\theta )=& E_t[{▽}_{\theta }\log {\pi }_{\theta }(a|s)Q^{\pi \theta }(s,a)]\\ =& E_t[{▽}_{\theta }\log {\pi }_{\theta }(a|s)Q_w(s,a)]\end{array}$$
需要注意的是，在实际计算中，几乎无法得到真实Q值的准确值估计$Q_w$。此外，条件2仅当策略函数是指数函数时满足（而现实问题几乎不用指数函数表示策略函数）。尽管两个条件在实际计算中几乎无法满足，但这并不影响Actor-Critic算法在实际问题中发挥的巨大作用，特别是在如今的深度强化学习方法中。

8.3算法流程

以linear critic下的QAC算法为例，介绍Actor-Critic算法的流程。
设actor、critic的参数分别$\theta ,w$
使用线性的神经网络来表征critic参数，即：
$$Q_w(s,a)=w^T\varphi (s,a)$$
其中$\varphi (s,a)$为线性critic的输入，可以视为状态与动作的简单连接。

Actor-Critic算法的优点：
a.可以处理大规模状态/动作空间问题
b.基于TD error进行单步更新，加快了学习速度
缺点：
a.对于深度强化学习来说，Actor-Critic相当于具有两s个网络，更加难以收敛，能否收敛主要取决于critic网络的价值判断是否准确
b.每次参数更新前后都存在相关性，导致神经网络只能片面地看待问题，甚至导致神经网络学不到东西。

8.4A2C

在Actor-critic中，Actor应该朝着Q值增加的方向更新：
$$J(\theta )=-\log {\pi }_{\theta }(s,a)Q_w(s,a)$$
为了能够减少Critic网络的估计方差（variance），我们引入advantage，表示一个动作的预期回报比baseline高出多少，数学表达式为：
$$\begin{array}{rl}{A}_t(s,a)& =Q_w(s,a)-baseline\\ & =Q_w(s,a)-V(s)\end{array}$$
其中，$V(s)$为平均动作预期回报，通常作为baseline。
如果$A_t(s,a)>0$，则动作$a$的采样概率增加，反之则概率降低。
然而在深度强化学习中，$Q$和$A$可能意味着引入两个参数或两个网络，因此做出调整，去掉$Q$网络，保留$V$网络，从而得到大名鼎鼎的Advantage Actor-critic（A2C）算法:
在Critic网络部分，A2C使用TD-Error估计$V_{\varphi }(s)$，则：
$${\delta }_t=r(s,a)+\gamma V_{\varphi }(s_{t+1})-V_{\varphi }(s_t)$$
在Actor网络部分，A2C使用Advantage function更新${\pi }_{\theta }$：
$$J_{\theta }=-\log {\pi }_{\theta }(s,a){\delta }_{\theta }=-{\pi }_{\theta }(s,a)A_t(s,a)$$