RL策略梯度方法之(十七): Stein Variational Policy Gradient (SVPG)

本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。

---

---

斯坦变分策略梯度

$SVPG$ ：[ paper：Stein Variational Policy Gradient | code ]

---

原理解析

这是一种 应用Stein变分梯度下降法更新策略参数的算法。

在最大熵策略优化设置中，$\theta$ 被认为是一个随机变量，服从于：$\theta \sim q(\theta )$，模型期望学到 分布 $q(\theta )$；假设我们知道一个先验知识，即 $q$ 看起来像 $q_0$，我们想要引导学习过程使得 $\theta$ 这套参数的分布 接近于 $q_0$，即优化以下目标函数
$$\hat{J}(\theta )={\mathbb{E}}_{\theta \sim q}[J(\theta )]-\alpha D_{\text{KL}}(q\Vert q_0)$$

其中，当 $\theta \sim q(\theta )$ 时，${\mathbb{E}}_{\theta \sim q}[R(\theta )]$ 是 期望回报；$D_{KL}$ 是 KL 散度。

如果我们没有任何先验信息，我们可以将 $q_0$ 设为均匀分布，将 $q_0(\theta )$ 设为常数。那么上述目标函数即为 SAC，其中熵这一个项鼓励探探索：
$$\begin{array}{rl}\hat{J}(\theta )& ={\mathbb{E}}_{\theta \sim q}[J(\theta )]-\alpha D_{\text{KL}}(q\Vert q_0)\\ & ={\mathbb{E}}_{\theta \sim q}[J(\theta )]-\alpha {\mathbb{E}}_{\theta \sim q}[\log q(\theta )-\log q_0(\theta )]\\ & ={\mathbb{E}}_{\theta \sim q}[J(\theta )]+\alpha H(q(\theta ))\end{array}$$
把 $\hat{J}(\theta )={\mathbb{E}}_{\theta \sim q}[J(\theta )]-\alpha D_{\text{KL}}(q\Vert q_0)$ 关于 $q$ 求导：
$$\begin{array}{rl}{\nabla }_q\hat{J}(\theta )& ={\nabla }_q({\mathbb{E}}_{\theta \sim q}[J(\theta )]-\alpha D_{\text{KL}}(q\Vert q_0))\\ & ={\nabla }_q{\int }_{\theta }(q(\theta )J(\theta )-\alpha q(\theta )\log q(\theta )+\alpha q(\theta )\log q_0(\theta ))\\ & ={\int }_{\theta }(J(\theta )-\alpha \log q(\theta )-\alpha +\alpha \log q_0(\theta ))\\ & =0\end{array}$$

最优分布是：
$$\log q^{\ast }(\theta )=\frac{1}{\alpha }J(\theta )+\log q_0(\theta )-1\text{ thus }\underset{\text{"posterior"}}{\underbrace{q^{\ast }(\theta )}}\propto \underset{\text{"likelihood"}}{\underbrace{\exp (J(\theta )/\alpha )}}\underset{\text{prior}}{\underbrace{q_0(\theta )}}$$

温度 $\alpha$ 决定开发和探索之间的权衡。当 $\alpha \to 0$ 时，$\theta$ 仅根据期望回报$J(\theta )$ 进行更新；当 $\alpha \to \infty$ 时，$\theta$ 始终遵循先验信念。

当 利用SVGD方法估计目标的后验分布 $q(\theta )$的时候，它依赖于 一组： { θ i } i = 1 n \{\theta_i\}_{i=1}^n {θi​}i=1n​，(independently trained policy agents)，每一个是这么更新：
θ i ← θ i + ϵ ϕ ∗ ( θ i )  where  ϕ ∗ = max ⁡ ϕ ∈ H { − ∇ ϵ D KL ( q [ θ + ϵ ϕ ( θ ) ] ′ ∥ q )  s.t.  ∥ ϕ ∥ H ≤ 1 } \theta_i \gets \theta_i + \epsilon \phi^{*}(\theta_i) \text{ where } \phi^{*} = \max_{\phi \in \mathcal{H}} \{ - \nabla_\epsilon D_\text{KL} (q'_{[\theta + \epsilon \phi(\theta)]} \| q) \text{ s.t. } \|\phi\|_{\mathcal{H}} \leq 1\} θi​←θi​+ϵϕ∗(θi​) where ϕ∗=ϕ∈Hmax​{−∇ϵ​DKL​(q[θ+ϵϕ(θ)]′​∥q) s.t. ∥ϕ∥H​≤1}
其中：

• $ϵ$ 是学习率
• ${\varphi }^{\ast }$ 是 θ型值向量的 RKHS $\mathcal{H}$ 的单位球；极大地降低了粒子与目标分布之间的KL散度。

比较不同的基于梯度的更新方法:

算法实现

总体流程

代码实现