强化学习精要-第三部分-基于策略梯度的算法（on-policy）

之前介绍的是基于最优价值的强化学习算法——值函数估计，通过最优值函数得到策略。
也就是说
$$a^{\ast }=argma{x}_{a}Q(s,a),a^{\ast }={\pi }^{\ast }(s)$$
存在模型训练稳定性问题等。

---

基于策略梯度直接计算策略可能更新的方向：将值函数表示成策略参数的某个函数，可以求出值函数关于策略参数的梯度，沿着梯度上升的方向更新。

• 算法：策略梯度法->Actor Critic->A3C、A2C

策略梯度法基本原理

目标函数（值函数）
$$J(\theta )=E_{\tau \sim \pi (\theta )}[r(\tau )]={\int }_{\tau \sim \pi (\theta )}{\pi }_{\theta }(\tau )r(\tau )d\tau$$
可以表示成这样与$\theta$相关的函数，因为积分和求导运算可以互换
$${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }{\int }_{\tau \sim \pi (\theta )}{\pi }_{\theta }(\tau )r(\tau )d\tau ={\int }_{\tau \sim \pi (\theta )}{\nabla }_{\theta }{\pi }_{\theta }(\tau )r(\tau )d\tau$$
又因为
$$\begin{gathered} {\nabla }_{x}logy=\frac{1}{y}{\nabla }_{x}y \\ y{\nabla }_{x}logy={\nabla }_{x}y \\ {\nabla }_{\theta }{\pi }_{\theta }(\tau )={\pi }_{\theta }(\tau ){\nabla }_{\theta }log{\pi }_{\theta }(\tau ) \end{gathered}$$
所以$$\begin{gathered} {\nabla }_{\theta }J(\theta )={\int }_{\tau \sim \pi (\theta )}{\nabla }_{\theta }{\pi }_{\theta }(\tau )r(\tau )d\tau \\ ={\int }_{\tau \sim \pi (\theta )}{\pi }_{\theta }(\tau ){\nabla }_{\theta }log{\pi }_{\theta }(\tau )r(\tau )d\tau \end{gathered}$$
因为$$\begin{gathered} {\pi }_{\theta }(\tau )=\pi (s_0,a_0,...,s_T,a_T) \\ =p(s_0)\prod _{t=0}^T{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t) \\ \text{所以} \\ {\nabla }_{\theta }log[\pi (\tau )]={\nabla }_{\theta }log[p(s_0)\prod _{t=0}^T{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)] \\ ={\nabla }_{\theta }[logp(s_0)+\sum _{t=0}^{T}log{\pi }_{\theta }(a_t|s_t)+\sum _{t=0}^{T}logp(s_{t+1}|s_t,a_t)] \\ \text{因为前后两项与}\theta 无关 \\ ={\nabla }_{\theta }[\sum _{t=0}^{T}log{\pi }_{\theta }(a_t|s_t)] \\ =\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t) \end{gathered}$$
最后将上面$$\begin{gathered} {\nabla }_{\theta }J(\theta )={\int }_{\tau \sim \pi (\theta )}{\nabla }_{\theta }{\pi }_{\theta }(\tau )r(\tau )d\tau \\ ={\int }_{\tau \sim \pi (\theta )}{\pi }_{\theta }(\tau ){\nabla }_{\theta }log{\pi }_{\theta }(\tau )r(\tau )d\tau \end{gathered}$$和
$${\nabla }_{\theta }log[\pi (\tau )]=\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)$$结合，并且将积分使用蒙特卡罗替换
$$\begin{gathered} {\nabla }_{\theta }J(\theta )={\int }_{\tau \sim \pi (\theta )}{\pi }_{\theta }(\tau ){\nabla }_{\theta }log{\pi }_{\theta }(\tau )r(\tau )d\tau \\ =E_{\tau \sim {\pi }_{\theta }(\tau )}[(\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})(\sum _{t=0}^{T}r(s_{i,t},a_{i,t})] \\ =\frac{1}{N}\sum _{i=1}^N[\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})(\sum _{t=0}^{T}r(s_{i,t},a_{i,t})] \end{gathered}$$
最后我们就通过这个公式计算梯度然后使用$$\tilde{\theta }=\theta +\alpha {\nabla }_{\theta }J(\theta )$$
书中还给出了一种推导方法，比较麻烦，但是推导后面没问题
得到策略梯度
是这种亚子，竟然说相同，原谅我的弱智。

---

并且书中将policy gradient和最大似然求策略进行比较，发现最大似然得到的梯度和policy gradient得到的梯度只有最后面${\sum }_{t=0}^{T}r(s_{i,t},a_{i,t})$的差别，这一项表示了序列的整体回报。
所以可以得到
1.policy gradient考虑到长期回报，而最大四让将长期回报值设定为固定值1，即每一个样本对训练的影响相同
2.最大似然对每一个样本权重相同，而策略梯度对每一个样本使用序列回报作为加权权重，所以，policy gradient 对于回报越大的样本，最大化其似然；对于回报越小（为负）的样本，最小化它的似然。

事实上，由于这个最后一项的加权项的存在，会使得策略梯度的方差特别大（在斯坦福CS294中也有讨论到）
不论哪个时间段，我们都要用策略的梯度乘以后面这个所有时刻的回报值总和，这样做显然不合理，所以我们利用到 当前的决策不能影响之前的回报的原理：t时刻我们完成决策之后，它最多只能影响t时刻之后的回报，不会影响之前的回报，所以我们不应该将之前的回报和计算在梯度中

公式改写为：
$${\nabla }_{\theta }J(\theta )=\frac{1}{N}\sum _{i=1}^N[\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})(\sum _{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }}))]$$
但是还可能出现一个现象，就是序列的长期回报可能都为正，那么我们会提升所有策略，只是回报低的可能提升的幅度有所降低，但是这是不太好的，我们希望的是能够降低不好行为的概率。
所以我们在长期回报那再减去一个偏移量Baseline，用b表示
$${\nabla }_{\theta }J(\theta )=\frac{1}{N}\sum _{i=1}^N[\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_{i,t}|s_{i,t})(\sum _{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }})-b_{i,t^{\prime }})]$$
$$b_{i,t^{\prime }}=\frac{1}{N}\sum _{i=1}^N\sum _{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }})$$
相当于对长期回报值期望规零化，这对稳定性有一定的帮助，并且可以证明（书中有证明）加入这个偏移量不会使得原来的计算值变得有偏。
但是呢
我们其实有了更好的替代方法 AC

策略梯度法改进：Actor Critic

为什么说更好，因为即使上面两个处理之后，由于交互次数的限制，序列不能很好代表轨迹的真实期望，不充分的交互会给轨迹回报带来较大方差，和蒙特卡罗的问题相似。
Actor Critic希望牺牲policy gradient的偏差来换取方差的减少。
主要的特点就是，AC通过一个独立的模型估计轨迹的长期回报，不直接使用轨迹的真实回报。

这和基于模型的Q-learning类似，估计的时候使用模型估计轨迹价值，更新的时候利用轨迹的回报得到目标价值，然后比较再改进模型（q_估计-q_现实）

公式中可以被替代的是权重那一部分，这里提出四种方案：
1.如上 因果律+ 长期回报期望归零：${\sum }_{t^{\prime }=t}^{T}r(s_{i,t^{\prime }},a_{i,t^{\prime }})-b_{i,t^{\prime }}$
2.使用状态值函数估计回报：q(s,a)
3.使用优势函数估计轨迹回报：A(s,a)=q(s,a)-V(s)
4.使用TD-Error估计轨迹回报：R(s,a)+V(s’)-V(s)
AC就是使用第四种，算法使用两个模型，一个是策略模型，一个是价值模型，所以这个算法被称为Actor-Critic，Actor表示策略模型，Critic表示价值模型

---

下面我们介绍真正被应用到实际中并且得到优异效果的A3C（Asynchronous Advantage Actor-Critic和A2C（Advantage Actor-Critic），顾名思义，前者突出了异步和优势；后者采用同步方式优化。

A3C

• 策略梯度需要使用当前最新策略模型采样的序列完成梯度计算，计算完成之后样本丢弃——On-Policy Learning
• DQN、Q-learning ，使用的序列都不一定是使用当前模型交互得到的（DQN可能是之前的模型，Q-learning是采用当前最优决策行动）——Off-Policy Learning

基于策略梯度的算法是On-Policy算法，为了更快手机样本，我们同时启动N个线程，Agent在N个线程中和设定不同的环境进行交互，得到不完全一样的样本。收集完毕后线程独立完成训练，并且得到参数更新量，异步地更新到全局的模型参数中，下一次训练开始再将线程的模型参数和全局参数完成同步，线程使用新的参数进行训练。
Advatage表示算法关于权重的计算，之前AC使用TD-Error:$r_{s_t,a_t}+v(s_{t+1})-v(s_t)$，这个方法虽然增加了模型的稳定性但是使得模型的偏差也加大，为了平衡偏差和方差，A3C使用多步回报估计，使得在训练早期更快提升价值模型：
$$\sum _{i=1}^n{r}^{i-1}+v(s_{t+n})-v(s_t)$$
为了增加模型探索性，最大化目标函数中加入了策略的熵（由于熵可以衡量概率分布的不确定性，熵越大概率分布越不确定，这样模型就会有更好的多样性），最后，完整的策略梯度计算公式为：
$${\nabla }_{\theta }J(\theta )=\frac{1}{T}\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t;\theta )(\sum _{i=1}^n{r}^{i-1}+v(s_{t+n})-v(s_t))+\beta {\nabla }_{\theta }H(\pi (s_t;\theta ))$$
完整算法如下：

A2C

代码可在Baselines的baselines/a2c中找到，书上说可以直接run_atari.py执行算法，但是并没有看到这个文件，github上看了原本就是没有的。
A2C使用Master-Slave结构，Master用于执行Agent的模型（baseline给出三种模型），在Env给出状态观测值后给出Action，Slave用于模型Env，接受到Agent行为之后，将自己环境交互之后得到的后续观测值、回报等信息返回给Master，Master手机所有Slave的数据进行训练。
上面说到的策略模型baseline中有三种

1. CnnPolicy：采用DQN在Nature上的游戏画面特征提取模型 NatureCNN +fc（全链接）

2. LstmPolicy：将T个timestep的NatureCNN的特征序列通过LSTM，然后fc到行动概率pi和价值vf
3. LnLstmPolicy：Layer Normalization LSTM，和LstmPolicy类似

A2C算法实现

伪代码如下：

def learn() :
	for i in batches:
	#run
	obs = env. reset()
	for j in range (steps):
		act, value = step_model(obs)
		obs, reward, done = env . step(act)
		data.append( obs, reward, done, value)
	for n in envs:
		data[reward] =discount_target_reward(data[reward],value)#
	#train
	adv = data[reward] - data[value]
	pg_loss = adv * cross_entropy(train_model.pi, data[act])
	vf_loss = mse(train_ model.vf,data[reward])
	entropy = entropy(train_model.pi)
	loss = pg_loss + vf_loss -entropy
	opt = train(loss)

流程分为两个部分：与环境交互run部分和基于样本训练模型train部分
交互的时候使用step_model交互，这个模型接受N个Slave发来的观测值，并且给出单步的行动决策，为了方便计算，每一个轨迹只选取前step进行交互，然后保存，收集数据完毕之后，再对每一个轨迹计算目标价值估计值，更新到data[reward]
训练的时候分别计算三部分的目标函数：
·策略 Loss：$\sum Adv\times log\pi (a|s)$
·价值模型 Loss：$\frac{1}{2}{\sum }_i(V(s_i)-R(s_i){)}^2$
·策略的熵 Loss ：$-{\sum }_a\pi (a|s)log\pi (a|s)$

策略单调提升算法

以自然梯度法为基础的策略提升算法 : 置信区域策略优化( Trust Region Policy Optimization, TRPO ) 和近端策略优化 ( Proximal Policy Optimization , PPO )方法,它们的 总体优化目标比较相近, 主要区别在于具体的计算方法 。

TRPO 置信区域策略优化

策略的期望差距公式：
$$\eta (\tilde{\pi })=\eta (\pi )+E_{s_0,a_0,...\sim \tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)]$$
令${\rho }_{\pi }(s)$表示任意时刻状态 s 的访问概率和,它的形式为
$$\begin{gathered} {\rho }_{\pi }(s)=P(s_0=s)+\gamma P(s1=s)+{\gamma }^{2}P(s_2=s)+... \\ =\sum _{t=0}^{\infty }{\gamma }^{t}P(s_t=s) \end{gathered}$$
则策略期望差距可化为
$$\begin{gathered} \eta (\tilde{\pi })=\eta (\pi )+\sum _{t=0}^{\infty }\sum _{s}P(s_t=s|\tilde{\pi })\sum _a\tilde{\pi }(a|s){\gamma }^t{A}_{\pi }(s,a) \\ =\eta (\pi )+\sum _s\sum _{t=0}^{\infty }P(s_t=s|\tilde{\pi })\sum _a\tilde{\pi }(a|s){\gamma }^t{A}_{\pi }(s,a) \\ =\eta (\pi )+\sum _s\sum _{t=0}^{\infty }{\gamma }^{t}P(s_t=s|\tilde{\pi })\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a) \\ =\eta (\pi )+\sum _s{\rho }_{\tilde{\pi }(s)}\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a) \end{gathered}$$
我们从某个策略出发,通过计算找到一个策略使得
$$\sum _s{\rho }_{\tilde{\pi }(s)}\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)>=0$$
就可以确定后面的策略总体上优于之前的策略。

GAE

近端策略优化（PPO）