【强化学习笔记】4.3 无模型的强化学习方法-蒙特卡罗算法与重要性采样

异策略与重要性采样

因为异策略中的行动策略和目标策略不一样，也就是说行动策略产生的数据分布与目标策略的数据分布存在偏差，即即行动策略的轨迹概率分布和改善策略的轨迹概率分布不一样，因此在使用数据进行目标策略评估的时候需要考虑该影响，常用的方法是重要性采样。(重要性采样的原理见文末图片)

重要性采样评估目标策略的值函数

在目标策略下，一次实验的概率为：
$Pr(S_t,A_t,S_{t+1},...S_T)={\prod }_{k=t}^{T-1}\pi (A_k|S_k)p(S_{k+1}|S_t,A_t)$
在行动策略下，该实验出现的概率为：
$Pr(S_t,A_t,S_{t+1},...S_T)={\prod }_{k=t}^{T-1}\mu (A_k|S_k)p(S_{k+1}|S_t,A_t)$
因为很难获得明确的目标策略$\pi$的概率分布，因此使用一个替代分布进行估计，对应为行动策略分布$\mu$。因此重要性权重为：
${\rho }_t^T=\frac{{\prod }_{k=t}^{T-1}\pi (A_k|S_k)p(S_{k+1}|S_t,A_t)}{{\prod }_{k=t}^{T-1}\mu (A_k|S_k)p(S_{k+1}|S_t,A_t)}={\prod }_{k=t}^{T-1}\frac{\pi (A_k|S_k)}{\mu (A_k|S_k)}$

$普通重要性采样的值函数估计为$：
$V(s)=\frac{{\sum }_{t\in T(s)}{\rho }_t^{T(t)}{G}_t}{|T(s)|}$
将上式编程递推的方式：
令$w_n={\rho }_n^{T(n)},|T(s)|=n$,那么值函数为
$V(n)=\frac{{\sum }_{k=1}^{n-1}{w}_n{G}_n}{n}$
递推公式很容易获得为：
$V(n+1)=V(n)+\frac{w_n{G}_n-V(n)}{n}$

$加权重要性采样的值函数为$：
$V(s)=\frac{{\sum }_{t\in T(s)}{\rho }_t^{T(t)}{G}_t}{{\sum }_{t\in T(s)}{\rho }_t^{T(t)}}$
令$w_n={\rho }_n^{T(n)},c_n={\sum }_{t\in T(s)}{\rho }_t^{T(t)}=c_{n-1}+w_n$,那么值函数为
$V(n)=\frac{{\sum }_{k=1}^{n-1}{w}_n{G}_n}{c_n}$
递推公式很容易获得为：
$V(n+1)=V(n)+\frac{w_n}{c_n}(G_n-V(n))$

代码实现【强化学习笔记】4.4 无模型的强化学习方法-蒙特卡罗算法与重要性采样代码实现

重要性采样（转载https://blog.csdn.net/minenki/article/details/8917520）

参考书籍：

1. 深入浅出强化学习原理入门

---

欢迎关注微信公众号：AITBOOK