重要性采样

重要性采样

离线策略学习

估计一个不同分布的期望

$$\begin{array}{rl}{\mathbb{E}}_{x\sim p}[f(x)]& ={\int }_{x}p(x)f(x)dx\\ & ={\int }_{x}q(x)\frac{p(x)}{q(x)}f(x)dx\\ & ={\mathbb{E}}_{x\sim q}\left[\frac{p(x)}{q(x)}f(x)\right]\end{array}$$

将每个实例的权重重新分配为 $\beta (x)=\frac{p(x)}{q(x)}$

使用重要性采样的离线策略蒙特卡洛

使用 策略 $\mu$ 产生的累计奖励评估 策略 $\pi$
根据两个策略之间的重要性比率（importance ratio）对累计奖励 $G_t$ 加权
每个片段乘以重要性比率

{ s 1 , a 1 , r 2 , s 2 , a 2 , … , s T } ∼ μ \{s_{1},a_{1},r_{2},s_{2},a_{2},\dots,s_{T}\}\sim\mu {s1​,a1​,r2​,s2​,a2​,…,sT​}∼μ

$$G_t^{\pi /\mu }=\frac{\pi (a_t|s_t)}{\mu (a_t|s_t)}\frac{\pi (a_{t+1}|s_{t+1})}{\mu (a_{t+1}|s_{t+1})}\cdots \frac{\pi (a_T|s_T)}{\mu (a_T|s_T)}{G}_T$$

更新值函数以逼近修正的累计奖励值

$$V(s_t)\leftarrow V(s_t)+\alpha (G_t^{\pi /\mu }-V(s_t))$$

• 无法在 $\pi$ 非零而 $\mu$ 为零时使用
• 重要性采样将显著增大方差（variance）

如果 $\mu (a|s)$ 非常小，那么会导致学习的variance会很大

$$\frac{\pi (a|s)}{\mu (a|s)}\to \infty$$

使用重要性采样的离线策略时序差分

使用策略 $\mu$ 产生的时序差分目标评估策略 $\pi$
根据重要性采样对时序差分目标 $r+\gamma V(s^{\prime })$ 加权
仅需要一步来进行重要性采样修正

• 具有比蒙特卡洛重要性采样更低的方差
• 策略仅需在单步中被近似

---

使用重要性采样时会用什么方法避免 $\pi$ 非零而 $\mu$ 为零的问题呢？

一般使用一些平滑算法，例如拉普拉斯一类的平滑

$$\hat{\alpha }=\frac{\pi (a|s)+\beta }{\mu (a|s)+\beta }$$

这里的 $\beta$ 是平滑的超参数

还有一种就是clip，也就是ratio如果绝对值超过了某个阈值 $\alpha$ ，那就设置成这个 $\alpha$ 值（符号不变）
这些方法其实都是损失了一点点variance，来换来bias的巨大下降