【强化学习】策略优化基础

Value-based RL vs Policy-based RL

基于策略函数的强化学习（Policy-based RL）学习的是策略函数，策略函数实际上跟机器学习领域中的分类模型（model）差不多。这跟基于价值函数的强化学习（Value-based RL）不同。
（1）基于价值函数的强化学习是基于一个确定的策略来计算$Q$值，然后通过greedy算法计算$a_t={\mathrm{argmax}}_{a}Q(a,s_t)$，确定最优的行为。
（2）基于策略函数的强化学习则通过参数化策略函数${\pi }_{\theta }(a|s)$来直接学习策略，其中$\theta$是一个可学习的策略参数，并且策略函数的输出是各类行为的概率。
（3）Actor-critic（行动器-评判器）：既学习策略函数，也学习价值函数，这样可以同时得到两种方法的好处。

Policy-based RL的优势与劣势

优势：
（1）有更好的收敛性（都能得到一个策略函数），能保证收敛于局部最优或全局最优。
（2）基于策略的梯度（策略梯度）在高维的动作空间中更有效。
（3）策略梯度可以学习随机策略，但是价值函数不行。
劣势：
（1）比较容易收敛到局部最优解。
（2）一个策略可能有较高的方差。

上图可以细化为

如上图所示。RL整体结构包括两个部分，Agent和Environment。
（1）Environment中的Dynamic model是由物理模型所确定的，Reward Function是人为设定的，Agent中的每个部分均为人为设定。
（2）Representation Model从输入的Observation中提取State。
（3）Expert Policy为模仿学习中的组成部分，表示专家的策略。
（4）MPC（Model predicative control）利用模型来寻找最优的动作。
（5）Policy function根据状态输出动作。
（6）Value function表示状态动作价值函数（Q）或者状态价值函数（V）。
（7）Learned reward function为拟合Reward function的函数。
（8）Learned dynamic model为拟合Dynamic model（输出为state）的函数。
（9）Exploration表示在输出动作基础上增加探索。

策略函数的类型

（1）返回确定的行为：给定一个状态，策略函数返回一个确定的行为。
（2）返回行为集合的概率：给定一个状态，策略函数返回所有行为的概率分布。（e.g.,40%的概率向左行走，60%的概率向右行走），又或者是对于连续行为的高斯分布。

策略优化

实际上策略优化的目标是：给定一个带有参数$\theta$的策略近似${\pi }_{\theta }(s,a)$，然后找到最好的$\theta$
如何量化策略${\pi }_{\theta }$？（在《reinforcement learning an introduction》一书中用的是“性能指标”这个词）
从环境的角度看：
（1）对于情节性环境，可以使用每一幕初始状态的价值来衡量：
$$J(\theta )=V_{{\pi }_{\theta }}(s_0)$$

（2）对于连续性环境，可以使用每个时刻上的平均收益：
$$\begin{array}{rl}J(\theta )& =\underset{h\to \infty }{\lim }\frac{1}{h}\sum _{t=1}^h\mathbb{E}[R_t|S_0,A_{0:t-1}\backsim \pi ]\\ & =\sum _s\mu (s)\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)r\end{array}$$
其中，$\mu$是策略$\pi$下的稳定状态的分布。
从轨迹的角度去看：
$$\begin{array}{rl}J(\theta )& ={\mathbb{E}}_{\tau \backsim {\pi }_{\theta }}[\sum _{t}r(s_t,a_t^{\tau })]\\ & \approx \frac{1}{m}\sum _m\sum _{t}r(s_{t,m},a_{t,m})\end{array}$$
不管是从哪种角度来考虑，基于策略的强化学习算法的目的都是求使得$J(\theta )$极大化的$\theta$
$${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}J(\theta )$$
如果$J(\theta )$是可微的，可以使用梯度方法。
（1）梯度上升，可以理解为机器学习中Gradient descend方法。
（2）共轭梯度。
（3）quasi-newton
如果$J(\theta )$是不可微的，可以使用无需计算导数的黑箱优化方法。
（1）Cross-Entropy Method（CEM，交叉熵）
（2）Hill climbing
（3）Evolution algorithm

基于Cross-Entropy Method的Policy-based RL

假设一个使用交叉熵方法来解决Policy-base RL问题的场景：$$\underset{\theta }{\max }J(\theta )=\underset{\theta }{\max }E[\sum _{t=0}^{T}R(s_t)|{\pi }_{\theta }]$$此时的$J$就可以当做一个黑箱。伪代码如下：

Algorithm : CEM for black-box function optimization
1:for iter i = 1 to N do
2:      ~~~~     C={}
3:      ~~~~     for parameter set e = 1 to N do
4:          ~~~~~~~~         sample ${\theta }_e\backsim P_{{\mu }_i}(\theta )$
5:          ~~~~~~~~         execute roll-outs under ${\theta }_e$ to evaluate $J({\theta }_e)$
6:          ~~~~~~~~         store(${\theta }_e,J({\theta }_e))$ in C
7:      ~~~~     end for
8:      ~~~~     ${\mu }_{i+1}={\mathrm{argmax}}_{\mu }{\sum }_{k\in \hat{C}}\log P_{\mu }({\theta }_k)$
     ~~~~     where $\hat{C}$ are the top 10% of $C$ renked by $J({\theta }_e)$
9:end for

关于交叉熵的应用在神经网络中经常作为损失函数来使用，常用于表达为两个不同分布的差异。可以参考：https://blog.csdn.net/u014380165/article/details/77284921，但这里讨论的并不是我们熟知的监督学习中的交叉熵方法，它实际上是基于MC和进化策略的算法。
CEM算法的迭代训练过程可以分为两个阶段：
（1）根据采样概率分布进行重要度采样。
（2）通过最小化采样概率分布和目标概率分布的交叉熵来更新采样概率分布。（上面伪代码的8，但是感觉这里没有真正用上“交叉熵表达两个分布差异”的概念）

什么是cross-entropy method

假设需要估计一个时间$H(x)$发生的期望，并且它的真实概率密度函数$f(x;u)$，最简单的方法就是利用MC sampling从真实概率密度函数中采集一些样本$x^{\prime }$，然后通过求均值来估计期望，即：
$$E_u[H(x)]=\frac{1}{N}\sum _{t=1}^N{x}_i^{\prime }$$
但是如果很难从$f(x;u)$中采集到样本，MC的sampling则可以使用另外一个简单的分布中采集样本，所以这里引入了CEM算法的重要度采样（importance sampling）。它的思想如下：
希望通过一个类似于真实概率分布的采样概率分布$f(x;v)$（其中$v$称为reference parameter）来进行采样。此时期望变为：
$$E_u[H(x)]=\frac{1}{N}\sum _{t=1}^N{x}_i^{\prime }\frac{f(x;u)}{f(x;v)}$$
所以此时问题的目标变成了，找到一个最优的采样概率函数$f(x;v^{\ast })$，这个“最优”在上面伪代码中指的是：使得$J(\theta )$最大。关于重要度采样的定义可以参考https://mathpretty.com/12375.html

其他相关的方法

基于CEM的Policy-based RL算法有其他的变体。主要是上面伪代码中的第8步的改变，其中有很多其实更能体现交叉熵的含义。
（1）Reward weighted Regression（RWR）
Dayan & Hinton, NC 1997; Peters & Schaal,ICML2007
$${\mu }_{i+1}=\underset{\mu }{\mathrm{argmax}}\sum _{e}q(J(e),P_{\mu }({\theta }_e))\log P_{\mu }({\theta }_e)$$
（2）Policy improvement with Path Integrals(PI${}^2$)
PI2: Theodorou, Buchli, Schaal JMLR2010;Kappen,2007;(PI2-CMA:Stulp & Sigaud ICML2012)
$${\mu }_{i+1}=\underset{\mu }{\mathrm{argmax}}\sum _{e}exp(\lambda J(e))\log P_{\mu }({\theta }_e)$$
（3）Covariance Matrix Adaptation Evolutionary Strategy(EMA-ES)
CMA:Hansen&Ostermeier1996;(CMA-ES:Hansen,Muller,Koumoutsakos 2003)
$$({\mu }_{i+1},{\Sigma }_{i+1})=\underset{\mu ,\Sigma }{\mathrm{argmax}}\sum _{\overline{e}}w(J(\overline{e}))\log \mathrm{N}({\theta }_{\overline{e}};\mu ,\Sigma )$$
（4）PoWER
Kober&Peters, NIPS 2007(also applies importance sampling for sample re-use)
$${\mu }_{i+1}={\mu }_i+(\sum _e({\theta }_e-{\mu }_i))/(\sum _{e}J(e))$$
CMA算法已经成为图形学方面的标准。相关应用场景如下：

Likelihood Ratio Policy Gradient

假设将一个情节的状态-动作轨迹表示为：
$$\tau =(s_0,a_0,r_1,\cdots ,s_{T-1},a_{T-1},r_T,s_T)\backsim ({\pi }_{\theta },P(s_{t+1}|s_t,a_t))$$
并且将$R(\tau )={\sum }_{t=0}^{T}R(s_t,a_t)$作为轨迹$\tau$的reward的和。则有
$$J(\theta )=E_{{\pi }_{\theta }}[\sum _{t=0}^{T}R(s_t,a_t)]=\sum _{\tau }P(\tau ;\theta )R(\tau )$$其中：
（1）$P(\tau ;\theta )=\mu (s_0){\prod }_{t=0}^{T-1}{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)$，表示执行策略${\pi }_{\theta }$的轨迹的概率。
（2）$\mu (s_0)$表示初始化状态时，选到$s_0$的概率，$\mu (s)$表示on-policy分布。
（3）${\pi }_{\theta }(a_t|s_t)$表示根据随机性策略$\pi$在状态$s_t$下选取动作$a_t$的概率。
（4）$p(s_{t+1}|s_t,a_t)$表示从状态$s_t$采取动作$a$,转换到$s_{t+1}$的概率。

我们的目标是找到参数$\theta$使得$J(\theta )$最大。
$$\underset{\theta }{\max }J(\theta )=\underset{\theta }{\max }\sum _{\tau }P(\tau ;\theta )R(\tau )$$
使用梯度方法：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\nabla }_{\theta }\sum _{\tau }P(\tau ;\theta )R(\tau )\\ & =\sum _{\tau }P(\tau ;\theta )R(\tau )\\ & =\sum _{\tau }\frac{P(\tau ;\theta )}{P(\tau ;\theta )}{\nabla }_{\theta }P(\tau ;\theta )R(\tau )\\ & =\sum _{\tau }P(\tau ;\theta )\frac{{\nabla }_{\theta }P(\tau ;\theta )}{P(\tau ;\theta )}R(\tau )\\ & =\sum _{\tau }P(\tau ;\theta ){\nabla }_{\theta }\log P(\tau ;\theta )R(\tau )\\ & =\sum _{\tau }P(\tau ;\theta )R(\tau ){\nabla }_{\theta }\log P(\tau ;\theta )\end{array}$$
使用M个样本轨迹来近似（Importance Sampling）：
$${\nabla }_{\theta }J(\theta )\approx \frac{1}{M}\sum _{i=1}^{M}R({\tau }_i){\nabla }_{\theta }\log P({\tau }_i;\theta )$$
分解${\nabla }_{\theta }\log P(\tau ;\theta )$可得：
$$\begin{array}{rl}{\nabla }_{\theta }\log P(\tau ;\theta )& ={\nabla }_{\theta }\log [\mu (s_0)\prod _{t=0}^{T-1}{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)]\\ & ={\nabla }_{\theta }[\log \mu (s_0)+\sum _{t=0}^{T-1}\log {\pi }_{\theta }(a_t|s_t)+logp(s_{t+1}|s_t,a_t)]\\ & =\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\end{array}$$
所以最后：
$${\nabla }_{\theta }J(\theta )\approx \frac{1}{M}\sum _{i=1}^{M}R({\tau }_i)\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^i|s_t^i)$$
这个梯度方法所得到的参数会使策略概率函数更容易得到收益比较高的路径。

与Maximum Likelihood比较

（1）policy gradient estimator：
$${\nabla }_{\theta }J(\theta )\approx \frac{1}{M}\sum _{i=1}^{M}R({\tau }_i)\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^i|s_t^i)$$
（2）Maximum likelihood estimator：
$${\nabla }_{\theta }J(\theta )\approx \frac{1}{M}\sum _{i=1}^M(\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^i|s_t^i))$$

Policy Gradient 优化

以下表达式提供了一个梯度方法的无偏估计，这个估计让我们可以不需要与动态模型（dynamic model）交互，如下：
$${\nabla }_{\theta }J(\theta )=\frac{1}{M}\sum _{i=1}^{M}R({\tau }_i){\nabla }_{\theta }\log P({\tau }_i;\theta )$$
其中，
$${\nabla }_{\theta }\log P({\tau }_i;\theta )=\sum _{t=0}^T\underset{\text{no dynamics model required!!}}{\underbrace{{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^i|s_t^i)}}$$
但是上述方法依然会存在问题：由于每一个trajectory都是使用MC算法采样得到，样本的方差较大时，会$R({\tau }_i)$的方差也会很大（方差传播），从而进一步导致梯度上升（下降）过程不是很稳定（所以问题在于$R({\tau }_i)$上）。此时，可以使用temporal causality方法或者是baseline方法进行优化。

Likelihood Ratio Gradient:Baseline

基于Baseline的方法，是让每一个$R({\tau }_i)$都减去一个量$b$，
$${\nabla }_{\theta }J(\theta )=\frac{1}{M}\sum _{i=1}^M{\nabla }_{\theta }\log P({\tau }_i;\theta )(R({\tau }_i)-b)$$
其中$b$是能代表样本的期望值，
$$b=E[R(\tau )]\approx \frac{1}{M}\sum _{t=1}^{M}R({\tau }_i)$$
或者是
$$b=\frac{{\sum }_i({\nabla }_{\theta }\log P({\tau }_i;\theta {)}^2)R({\tau }_i)}{{\sum }_i({\nabla }_{\theta }\log P({\tau }_i;\theta ){)}^2}$$

Likelihood Ratio and Temporal Structure

假设经过baseline处理过后的policy gradient估计
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& \approx \frac{1}{M}\sum _{i=1}^M(R({\tau }_i)-b)\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^i|s_t^i)\\ & =\frac{1}{M}\sum _{i=1}^M(\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^i|s_t^i))(\sum _{t=0}^{T-1}R(s_t^i,a_t^i)-b)\end{array}$$
由于未来的行为不依赖于过去的reward，所以可以使用以下表达式来替代，从而降低方差。
$${\nabla }_{\theta }J(\theta )=\frac{1}{M}\sum _{i=1}^M\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^i|s_t^i)(\sum _{k=t}^{T-1}R(s_k^i,a_k^i)-b(s_k^i))$$
其中，
$$b(s_t)=E[r_t+r_{t+1}+\cdots +r_{T-1}]$$

Pseudo-code Vanilla Policy Gradient

Algorithm:Vanilla Policy Gradient Algorithm With Baseline
procedure Policy Gradient($\alpha$)
      ~~~~~      Initialize policy parameters $\theta$ and baseline value $b(s)$ for all $s$
      ~~~~~      for iteration=1,2,$\cdots$ do
      ~~~~~             ~~~~~      Collect a set of $m$ trajectories by executing the current policy ${\pi }_{\theta }$
      ~~~~~             ~~~~~      for each time/step $t$ of each trajectory ${\tau }_i$ do
      ~~~~~             ~~~~~             ~~~~~      Compute the return $G_t^i={\sum }_{k=t}^{T-1}{R}_k$
      ~~~~~             ~~~~~             ~~~~~      Compute the advantage estimate ${\hat{A}}_t^i=G_t^i-b(s_t)$
      ~~~~~             ~~~~~      Re-fit baseline to the empirical returns by updating $w$ to minimize

$$\sum _{i=1}^M\sum _{t=0}^{T-1}||b(s_t)-G_t^i|{|}^2$$
      ~~~~~             ~~~~~      Update policy parameters $\theta$ using the policy gradient estimate $\hat{g}\approx {\nabla }_{\theta }J(\theta )$

$$\hat{g}=\sum _{i=1}^M\sum _{t=1}^{T-1}{\hat{A}}_t^i{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^i|s_t^i)$$
      ~~~~~             ~~~~~       with an optimizer like SGD($\theta \leftarrow \theta +\alpha \cdot \hat{g}$) or Adam
      ~~~~~      return $\theta$ and baseline values $b(s)$

Reducing Variance Using a Critic

假设$J(\theta )$的更新公式为：
$${\nabla }_{\theta }J(\theta )=E_{{\pi }_{\theta }}[\sum _{t=0}^{T-1}{G}_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)]$$
并且，$G_t$由 MC policy gradient采样得到，它是动作价值函数$Q_{{\pi }_{\theta }}(s_t,a_t)$的无偏估计（但是方差比较大）。$Q_{{\pi }_{\theta }}(s_t,a_t)$可以使用评判器（critic）来估计。
$$Q_w(s,a)\approx Q_{{\pi }_{\theta }}(s_t,a_t)$$
然后更新公式会变为
$${\nabla }_{\theta }J(\theta )=E_{{\pi }_{\theta }}[\sum _{t=0}^{T-1}{Q}_w(s_t,a_t)\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)]$$
上式实际上融合了value function和policy function两种方法，称为“Actor-Critic” Policy Gradient算法。
（1）Actor：指的是用于用于生成action的policy function。
（2）Critic：用于评估action的reward的的value function。
“Actor-Critic”算法需要维护两组参数。
（1）Actor：更新策略函数参数$\theta$。会往Critic建议的方向更新。
（2）Critic：更新动作价值函数的参数$w$。

Algorithm:Action-Value Actor-Critic Algorithm:Simple QAC
1:for each step do
2:       ~~~~~      generate sample$s,a,r,s^{\prime },a^{\prime }$ following ${\pi }_{\theta }$
3:       ~~~~~      $\delta =r+\gamma Q_w(s^{\prime },a^{\prime })-Q_w(s,a)$#TD error
4:       ~~~~~      $w\leftarrow w+\beta \delta \psi (s,a)$
5:       ~~~~~      $\theta \leftarrow \theta +\alpha {\nabla }_{\theta }\log {\pi }_{\theta }(s,a)Q_w(s,a)$
6:end for

强化学习的两个不同学派

Value-based RL，通过dynamic programing来解决RL问题
（1）经典的RL和控制论
（2）有代表性的算法：Deep Q-learning以及它的扩展
（3）有代表性的学习：Rechard Sutton，David Silver，来自DeepMind
Policy-based RL，通过学习的方法解决RL问题
（1）机器学习和深度学习
（2）有代表性的算法：PG算法机器扩展，TRPO，PPO等
（3）有代表性的学者：Pieter Abbeel，Sergey Levine，John Schulman，来自OpenAI