RL策略梯度方法之(三): Off-Policy Policy Gradient算法

本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。

---

---

原理解析

REINFORCE 和 一般的actor-critic方法 都是 on-policy：训练样本 根据 目标策略 收集—— 即是我们试图优化的策略。然而，离线策略（Off-Policy）方法会带来一些额外的好处：

• off-policy 方法不需要完整的轨迹，并且可以重用任何过去的片段 (“experience replay”) 以获得更好的采样效率。
• 样本收集遵循与 目标策略 不同的 行为策略，从而带来更好的探索。

下面讲一下离线策略梯度是如何计算的。收集样本的行为策略是一个已知的策略（就像超参数一样预定义）记做：$\beta (a|s)$。目标函数 对 行为策略所定义的在状态分布上的reward 进行求和：

$J(\theta )={\sum }_{s\in \mathcal{S}}{d}^{\beta }(s){\sum }_{a\in \mathcal{A}}{Q}^{\pi }(s,a){\pi }_{\theta }(a|s)={\mathbb{E}}_{s\sim d^{\beta }}[{\sum }_{a\in \mathcal{A}}{Q}^{\pi }(s,a){\pi }_{\theta }(a|s)]$

其中，$d^{\beta }(s)$ 是行为策略 $\beta$ 的平稳分布，回顾一下：$d^{\beta }(s)={\lim }_{t\to \infty }P(S_t=s|S_0,\beta )$；$Q^{\pi }$ 是关于目标策略 $\pi$（而不是行为策略） 估计的动作值函数。

假设训练观察值由 $a\sim \beta (a|s)$ 采样，我们可以把梯度重写为：

$\begin{array}{rlr}{\nabla }_{\theta }J(\theta )& ={\nabla }_{\theta }{\mathbb{E}}_{s\sim d^{\beta }}[\sum _{a\in \mathcal{A}}{Q}^{\pi }(s,a){\pi }_{\theta }(a|s)]& \\ & ={\mathbb{E}}_{s\sim d^{\beta }}\left[\sum _{a\in \mathcal{A}}\right(Q^{\pi }(s,a){\nabla }_{\theta }{\pi }_{\theta }(a|s)+{\pi }_{\theta }(a|s){\nabla }_{\theta }{Q}^{\pi }(s,a)\left)\right]& \text{; 导数乘积法则.}\\ & \stackrel{(i)}{\approx }{\mathbb{E}}_{s\sim d^{\beta }}[\sum _{a\in \mathcal{A}}{Q}^{\pi }(s,a){\nabla }_{\theta }{\pi }_{\theta }(a|s)]& \text{; 忽略红色部分: }{\pi }_{\theta }(a|s){\nabla }_{\theta }{Q}^{\pi }(s,a).\\ & ={\mathbb{E}}_{s\sim d^{\beta }}[\sum _{a\in \mathcal{A}}\beta (a|s)\frac{{\pi }_{\theta }(a|s)}{\beta (a|s)}{Q}^{\pi }(s,a)\frac{{\nabla }_{\theta }{\pi }_{\theta }(a|s)}{{\pi }_{\theta }(a|s)}]& \\ & ={\mathbb{E}}_{\beta }[\frac{{\pi }_{\theta }(a|s)}{\beta (a|s)}{Q}^{\pi }(s,a){\nabla }_{\theta }\ln {\pi }_{\theta }(a|s)]& \text{; 蓝色部分是重要性权重.}\end{array}$

因为 $Q^{\pi }$ 是目标策略的函数，因此也是策略参数 $\theta$ 的函数，所以根据乘积法则求出导数：${\nabla }_{\theta }{Q}^{\pi }(s,a)$；事实上，计算它非常难。幸运的是，如果我们使用一个不考虑 $Q$ 的梯度的近似梯度，我们仍然保证了策略的改进，最终达到真正的局部最小值。这可以在 Off-Policy Actor-Critic (Degris, White & Sutton, 2012) 得到验证。

总的来说，当使用 离线策略 应用策略梯度的时候，我们可以简单使用一个加权和，即目标策略和行为策略的比值：$\frac{{\pi }_{\theta }(a|s)}{\beta (a|s)}$