蒙特卡洛方法

蒙特卡洛方法

模型无关的强化学习

在现实问题中，通常没有明确地给出状态转移 $P_{sa}(s^{\prime })$ 和奖励函数 $R$
例如，我们仅能观察到部分片段（episodes）

Episode 1：$s_0^{(1)}\underset{R(s_0{)}^{(1)}}{\overset{a_0^{(1)}}{\to }}{s}_1^{(1)}\underset{R(s_1{)}^{(1)}}{\overset{a_1^{(1)}}{\to }}{s}_2^{(1)}\underset{R(s_2{)}^{(1)}}{\overset{a_2^{(1)}}{\to }}{s}_3^{(1)}\cdots s_T^{(1)}$

Episode 2：$s_0^{(2)}\underset{R(s_0{)}^{(2)}}{\overset{a_0^{(2)}}{\to }}{s}_1^{(2)}\underset{R(s_1{)}^{(2)}}{\overset{a_1^{(2)}}{\to }}{s}_2^{(2)}\underset{R(s_2{)}^{(2)}}{\overset{a_2^{(2)}}{\to }}{s}_3^{(2)}\cdots s_T^{(2)}$

模型无关的强化学习直接从经验中学习值 $V(s)$ 和策略 $\pi$ ，而无需构建马尔科夫决策过程模型（MDP）
通过迭代进行值函数估计和策略优化的方式

值函数估计

在基于模型的强化学习（MDP）中，值函数能够通过动态规划计算获得

$$\begin{array}{rl}{V}^{\pi }(s)& =\mathbb{E}[R(s_0)+\gamma R(s_1)+{\gamma }^{2}R(s_2)+\cdots |s_0=s,\pi ]\\ & =R(s)+\gamma \sum _{s^{\prime }\in S}{P}_{s\pi (s)}(s^{\prime })V^{\pi }(s^{\prime })\end{array}$$

在模型无关的强化学习中

• 我们无法直接获得 $P_{sa}$ 和 $R$
• 但是，我们拥有一系列可以用来估计值函数的经验

Episode 1：$s_0^{(1)}\underset{R(s_0{)}^{(1)}}{\overset{a_0^{(1)}}{\to }}{s}_1^{(1)}\underset{R(s_1{)}^{(1)}}{\overset{a_1^{(1)}}{\to }}{s}_2^{(1)}\underset{R(s_2{)}^{(1)}}{\overset{a_2^{(1)}}{\to }}{s}_3^{(1)}\cdots s_T^{(1)}$

Episode 2：$s_0^{(2)}\underset{R(s_0{)}^{(2)}}{\overset{a_0^{(2)}}{\to }}{s}_1^{(2)}\underset{R(s_1{)}^{(2)}}{\overset{a_1^{(2)}}{\to }}{s}_2^{(2)}\underset{R(s_2{)}^{(2)}}{\overset{a_2^{(2)}}{\to }}{s}_3^{(2)}\cdots s_T^{(2)}$

蒙特卡洛方法

蒙特卡洛方法（Monte-Carlo methods）是一类广泛的计算方法
依赖于重复随机抽样来获得数值结果

例如，计算圆的面积

围棋对弈：估计当前状态下的胜率