【强化学习】周博磊 第6章 优化策略的进阶

周博磊 第6章 优化策略的进阶

回顾

Value-based RL vs Policy-based RL

1. 基于价值的强化学习是一种隐事的确定性策略，最大化Q函数得到
2. 基于策略的强化学习是随机性策略，由策略函数所决定

AC 减少方差的方式

$$A^{\pi }=Q^{\pi }(s,a)-V^{\pi }$$

梯度：
$$\nabla J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }\log {\pi }_{\theta }(s,a)A^{{\pi }_{\theta }}(s,a)]$$

不同时间维度上的Critic

MC：
$$\nabla \kappa =\alpha (G_t-V_{\kappa }(s))\psi (s)$$

TD(0)
$$\nabla \kappa =\alpha (r+\gamma V_{\psi }(s^{{}^{\prime }})-V_{\kappa }(s))\psi (s)$$

k-step
$$\nabla \kappa =\alpha (\sum _{i=0}^k{\gamma }^i{r}_{t+i}+{\gamma }^k{V}_{\kappa }(s_{t+k})-V_{\kappa }(s))\psi (s)$$

不同时间维度上的Actors

MC：
$$\nabla \kappa =\alpha (G_t-V_{\kappa }(s)){\nabla }_{\theta }\log {\pi }_{\theta }(s_t,a_t)$$

TD(0)
$$\nabla \kappa =\alpha (r+\gamma V_{\psi }(s^{{}^{\prime }})-V_{\kappa }(s)){\nabla }_{\theta }\log {\pi }_{\theta }(s_t,a_t)$$

k-step
$$\nabla \kappa =\alpha (\sum _{i=0}^k{\gamma }^i{r}_{t+i}+{\gamma }^k{V}_{\kappa }(s_{t+k})-V_{\kappa }(s)){\nabla }_{\theta }\log {\pi }_{\theta }(s_t,a_t)$$

State of Art

Policy-Based
TRPO -> ACKER -> PPO
Value-Based
DDPG->TD3->SAC

Policy Gradient 缺点

1. 数据采样效率较低
2. 不合适的步长会导致训练崩掉

step too far -> bad policy -> bad data collection

Natural Policy Gradient

Policy Gradient:
$$d^{\ast }={\nabla }_{\theta }J(\theta )=\underset{ϵ\Rightarrow 0}{\lim }\frac{1}{ϵ}\max J(\theta +d),st.||d||<=ϵ$$

缺点
对于policy 的函数形式过于敏感，不同的softmax，gaussian都会导致不同的优化结果

在分布空间最大的提升
$$d^{\ast }=\mathrm{argmax}J(\theta +d),s.t.KL({\pi }_{\theta }||{\pi }_{\pi +d})=c$$
固定KL在一个常数c内，可以保证我们的分布以常数的速度进行优化。不用考虑模型函数的参数构造方式。

1. KL 散度是衡量两个分布的距离
   $KL(p||q)={\sum }_{i=1}^n{p}_i\log \frac{p_i}{q_i}$
   $KL(p||q))=\mathbb{E}(\log p_i-\log q_i)$
2. 虽然KL 散度是非对称的，但是d趋近于0时。KL散度可以认为是对称的。所以在局部内，我们可以认为KL散度是对称矩阵。
3. 我们可以证明KL 散度的二阶泰勒展开式：
   $$KL({\pi }_{\theta }||{\pi }_{\theta +d})\approx \frac{1}{2}{d}^{T}Fd$$
   F 是Fisher Information Matrix， 是KL散度的二阶导数 ${\mathbb{E}}_{{\pi }_{\theta }}[\nabla \log {\pi }_{\theta }\nabla \log {\pi }_{\theta }^T]$

流程：
$$d^{\ast }=\mathrm{argmax}J(\theta +d),s.t.KL({\pi }_{\theta }||{\pi }_{\pi +d})=c$$

上述可以写成拉格朗日形式，$J(\theta +d)$写成一阶泰勒展开，受限的KL散度可以写成二阶泰勒展开
$$\begin{gathered} d^{\ast }=\underset{d}{\mathrm{argmax}}J(\theta +d)-\lambda (KL({\pi }_{\pi }||{\pi }_{\theta +d})-c) \\ \approx \underset{d}{\mathrm{argmax}}J(\theta )+{\nabla }_{\theta }J(\theta {)}^{T}d-\frac{1}{2}\lambda d^{T}Fd+\lambda c \end{gathered}$$
令d = 0, natural policy 梯度: $d=\frac{1}{\lambda }{F}^{-1}{\nabla }_{\theta }J(\theta )$

1. Natural Policy Graident 是二阶导优化，与模型参数化形式无关。
   $${\theta }_{t+1}={\theta }_t+\alpha F^{-1}{\nabla }_{\theta }J(\theta )$$
   $F={\mathbb{E}}_{{\pi }_{\theta }}[\nabla \log {\pi }_{\theta }\nabla \log {\pi }_{\theta }^T]$，是fisher information matrix 也是KL散度的二阶导数

2. Natural Policy 无关于模型的方式

3. 详细推导 https://wiseodd.github.io/techblog/2018/03/14/natural-gradient/

重要性采样

x是基于p分布采样得到的数据，我们可以通过q分布采样得到数据，使用p q间的概率比值来重新娇艳结果
$${\mathbb{E}}_{x\in p}[f(x)]=\int q(x)\frac{p(x)}{q(x)}f(x)dx={\mathbb{E}}_{x\in q}[\frac{p(x)}{q(x)}f(x)]$$

NPG算法流程：

TRPO算法流程：

详细的算法说明：

1. NPG
2. TRPO
3. 中文视频

ACKTR(Actor-Critic using Kronecker-Factored Trust Region)

使用Kronecker-factored approximation(K-FAC)减少计算Fisher Information Matrix 逆的复杂度
ACKTR

PPO(Proximal Policy Optimization) 近端策略优化

算法流程：
带有KL散度惩罚的流程：

with Clipping

tips:
对atari 不熟的话，可以试玩
Atari 试玩

DDPG

Q-target: $y(r,s^{{}^{\prime }},d)=r+\gamma (1-d)Q(s^{{}^{\prime }},{\mu }_{target}(s^{{}^{\prime }}))$
Q-function: $\min {\mathbb{E}}_{s,r,s^{{}^{\prime }},d\in D}[Q_{\varphi }(s,a)-y(r,s^{{}^{\prime }},d)]$
policy: ${\max }_{\theta }{\mathbb{E}}_{s\in D}[Q_{\varphi }(s,{\mu }_{\theta }(s))]$
代码 DDPG

TD3（Twin Delayed DDPG）

DDPG缺点
DDPG过高的估计了Q值，导致策略不够稳定

TD3 是在DDPG基础上，添加了一些trick

• Clipped Double-Q Learning
  TD3 使用了两个Q函数，用较小的Q值来作为贝尔曼误差的target
• Delayed
  策略网络的更新速度比q函数更新更慢
• Target Policy Smoothing
  TD3在目标函动作上添加了噪声、
  TD3 代码

Soft Actor-Critic (SAC)

SAC 是一个离线的训练方法，该方法包含了Entropy regularization的方法
$${\pi }^{\ast }=\mathrm{argmax}{\mathbb{E}}_{\tau \sim \pi }[\sum _t{\gamma }^t(R(s_t,a_t,s_{t+1})+\alpha H(\pi (.|s_t)))]$$

• SAC类似于TD3，包含了两个Q 函数
  

• Policy 通过最大化Q函数来获得
  

Reparametrize trick

Reparameterization trick允许我们将基于动作分布的期望改成基于随机分布的期望

SAC 代码