Importance Sampling 重要性采样

Importance Sampling(重要性采样)，也是常用估计函数价值在某个概率分布下的期望的一个方法。这篇博文先简要介绍IS，再将其在策略评估中的应用。

Importance Sampling

• 目标：估计一个函数$f(x)$，在遵循某个概率分布$p(x)$条件下的期望值${\mathbb{E}}_{x\sim p}[f(x)]$
• 有从分布$q(s)$上采样而来的数据$x_1,x_2,...,x_n$
• 处于一定假设之下，我们可以使用采样来得到一个无偏估计${\mathbb{E}}_{x\sim q}[f(x)]$

${\mathbb{E}}_{x\sim q}[f(x)]={\int }_{x}q(x)f(x)$

Importance Sampling(IS) for Policy Evaluation

记$h_j$为轮次$j$关于状态、动作、奖励的历史：
$$h_j=(s_{j,1},a_{j,1},r_{j,1},s_{j,2},a_{j,2},r_{j,2},...,s_j,L_j(terminal))$$

那么
$$\begin{array}{rl}p(h_j|\pi ,s=s_{j,1})& =p(a_{j,1}|s_{j,1})p(r_{j,1}|s_{j,1},a_{j,1})p(s_{j,2}|s_{j,1}{a}_{j,1})p(a_{j,2}|s_{j,2})p(r_{j,2}|s_{j,2},a_{j,2})p(s_{j,3}|s_{j,2}{a}_{j,2})...\\ & =\prod _{t=1}^{L_j-1}p(a_{j,t}|s_{j,t})p(r_{j,t}|s_{j,t},a_{j,t})p(a_{j,t+1}|s_{j,t},a_{j,t})\\ & =\prod _{t=1}^{L_j-1}\pi (a_{j,t}|s_{j,t})p(r_{j,t}|s_{j,t},a_{j,t})p(a_{j,t+1}|s_{j,t},a_{j,t})\end{array}$$

如果记$h_j$为轮次$j$关于状态、动作、奖励的历史，其中动作是从策略${\pi }_2$采样而来：
$$h_j=(s_{j,1},a_{j,1},r_{j,1},s_{j,2},a_{j,2},r_{j,2},...,s_j,L_j(terminal))$$

那么
$$V^{{\pi }_1}(s)\approx \sum _{j=1}^n\frac{p(h_j|{\pi }_1,s)}{p(h_j|{\pi }_2,s)}G(h_j)$$

Importance Sampling(IS) for Policy Evaluation

• 目标：在给定由策略${\pi }_2$产生的轮次(episodes)下，评估策略${\pi }_1$的价值$V^{\pi }(s)$

  • $s_1,a_1,r_1,s_2,a_2,r_2,....$其中的action是由${\pi }_2$采样而来

• 能够访问 MDP模型M在策略$\pi$下产生的收益为$G_t=r_t+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+{\gamma }^3{r}_{t+3}+....$

• 想求 $V_1^{\pi }s={\mathbb{E}}_{{\pi }_1}[G_t|s_t=s]$

• IS = 蒙特·卡罗尔off policy估计数据

• 不依赖模型的方法

• 不需要马尔科夫假设

• 在一定的假设下，无偏且一致的$V^{{\pi }_1}$的估计器

• 可以被用于agent在和环境使用非agent控制策略进行交互的情况下估计策略的价值

• 也可以使用批学习(batch learning)