强化学习-蒙特卡洛方法

强化学习-数学理论

1. 强化学习-基本概念
2. 强化学习-贝尔曼公式
3. 强化学习-贝尔曼最优公式
4. 强化学习-值迭代与策略迭代
5. 强化学习-蒙特卡洛方法

---

---

一、蒙特卡洛方法理论(Monte Carlo, MC)

  上一篇博客介绍的是model-base的方法，本篇博客开始介绍model-free的方法，model-free的核心思想是基于数据来估计出一个模型。
  如何在没有模型的情况下去进行估计，有一个重要的思想：Monte Carlo estimation。下面以抛硬币的例子为大家讲解该思想。

假设我们正在进行抛硬币游戏，将其结果用$X$来表示，结果是正面时$X=1$;结果是反面时$X=-1$，我们的目的是去求解$\mathbb{E}[X]$，有如下两种方法：

方法一：model-base
假设我们知道有一个概率模型，$p(X=1)=0.5,p(X=-1)=0.5$，那么$\mathbb{E}[X]=\underset{x}{\Sigma }xp(x)=1\times 0.5+(-1)\times 0.5=0$，然而事实上我们可能没有办法获取这么精确的概率模型。
方法二：model-free（Monte Carlo estimation）
投掷硬币很多次（做多次试验）得到很多采样结果，把所有的采样结果求平均。具体如下：假如做了N次实验，这N次实验的结果是${x_1,x_2,x_3,…,x_N}$，把结果相加再除于N得到 $\overline{\text{x}}$，当N足够大时 $\overline{\text{x}}$ 近似等于$\mathbb{E}[X]$，等式为：$\mathbb{E}[X]\approx \overline{\text{x}}=\frac{1}{N}\underset{j=1}{\stackrel{N}{\Sigma }}{x}_j$。这个思想就是 Monte Carlo estimation。

  Monte Carlo estimation思想的数学理论支撑如下图所示，相关证明这里不再给出，感兴趣的朋友可以查阅相关参考资料。

---

二、MC Basic

2.1 算法拆解

  上一篇博客我们讲过policy iteration这个算法，在上一篇中它是模型确定的，本篇的核心是如何将policy iteration转变成model-free的方法。

policy iteration算法有如下两部分：

$$\{\begin{array}{l}policyevaluation:v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}\\ valueimprovement:{\pi }_{k+1}=argma{x}_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_k)\end{array}$$

policy improvement的elementwise form如下：

π k + 1 ( s ) = a r g m a x π Σ a π ( a ∣ s ) [ Σ r p ( r ∣ s , a ) r + γ Σ s ′ p ( s ′ ∣ s , a ) v k ( s ′ ) ] ⏟ q π k ( s , a ) , s ∈ S \begin{aligned} \pi_{k+1}(s)=\underset{\pi}{argmax}\underset{a}\Sigma\pi(a|s)\underbrace{[\underset{r}\Sigma p(r|s,a)r+\gamma\underset{s'}\Sigma p(s'|s,a)\textcolor{red}{v_k(s')}]}_{\textcolor{red}{q_{\pi_k}(s,a)}}, \quad s\in S \end{aligned}