深度强化学习_蒙特卡洛算法 王树森课程笔记

💡 随机算法，通过随机样本估算真实值。

一、 Calculate $\pi$

用蒙特卡洛近似估算出$\pi$的值

• 随机生成平面坐标系中的点$(x,y),x\in [-1,1],y\in [-1,1]$，$x,y$为$[-1,1]$之间的均匀分布，所有的点都有相同的概率密度；
• 正方形内切圆半径为1，随机样本落在圆内的概率=圆的面积/正方形的面积：$P=\frac{\pi }{4}$；
• 从正方形区域均匀随机抽样$n$个点，在圆内的点的数量期望为$Pn=\frac{\pi n}{4}$;
  • 已知坐标$(x,y)$判断是否在圆内：若$x^2+y^2\le 1$则在圆内。
• 均匀随机抽样后有$m$个点在圆内，若$n$非常大，则真实观测值$m\approx \frac{\pi n}{4}$；
• 即得到$\pi \approx \frac{4m}{n}$；
• 大数定律保证蒙特卡洛的正确性：$\frac{4m}{n}\to \pi ,\text{as}n\to \infty$。

【结论】：从如图正方形中均匀抽样$n$个点，观测到$m$个点落在内切圆中，可近似得到$\pi \approx \frac{4m}{n}$。

二、 Buffon’s Needle Problem

近似估算$\pi$值

• 在纸上画几条距离为$d$的平行线；
• 准备一些长度为$l$的针；
• 随机将针抛到纸上，针可能与平行线相交也可能不相交；
• 假设针的位置和角度都是均匀随机的，通过微积分算出相交的概率$P=\frac{2l}{\pi d}$；
• 随机往纸上扔$n$根针，与平行线相交的针的数量期望为$Pn=\frac{2ln}{\pi d}$；
• 真实观测到有$m$根针与平行线相交，若$n$非常大，则真实观测值$m\approx \frac{2ln}{\pi d}$；
• 即得到$\pi \approx \frac{2ln}{md}$。

三、估算阴影面积

• 对如图正方形区域内做均匀随机抽样得到多个点，判断点是否在阴影部分需满足两个条件；
  • 在圆内：$(x-1{)}^2+(y-1{)}^2\le 1$；
  • 不在扇形内：$x^2+y^2\ge 4$；
• 假设阴影部分面积为$A$，随机抽样的点落在阴影部分的概率为$P=\frac{A}{4}$；
• 均匀随机抽样$n$个点，点落在阴影部分的期望为$Pn=\frac{An}{4}$；
• 真实观测到有$m$个点落在阴影部分，若$n$非常大，则真实观测值$m\approx \frac{An}{4}$；
• 即得到$A\approx \frac{4m}{n}$。

四、 近似积分

1. 用蒙特卡洛求一元函数定积分

Task：求$I={\int }_b^{a}f(x)dx$。

• 首先做随机均匀抽样：从$[a,b]$中抽取$n$个样本$x_1,\dots ,x_n$；
• 计算$Q_n=(b-a)\cdot \frac{1}{n}{\sum }_{i=1}^{n}f(x_i)$；
• $Q_n$即为积分$I={\int }_b^{a}f(x)dx$的近似值；
• 大数定律保证蒙特卡洛的正确性：$Q_n\to I,\text{as}n\to \infty$

2. 用蒙特卡洛求多元函数积分

Task：给出多元函数$f(\mathbf{x})$，其中向量$\mathbf{x}\in {\mathbb{R}}^d$，求函数在集合$\Omega$（$\Omega \subset {\mathbb{R}}^d$）上的定积分：$I={\int }_{\Omega }f(\mathbf{x})d\mathbf{x}$。

• 随机抽样：从集合$\Omega$中均匀抽取$n$个样本，记作${\mathbf{x}}_1,\dots ,{\mathbf{x}}_n$；
• 计算集合$\Omega$的体积：$V={\int }_{\Omega }d\mathbf{x}$；
  • 求体积$V$也需要定积分，有可能与原问题同样困难，因此需要让集合$\Omega$是简单的形状（长方体、球体等），用公式直接计算出体积，避免积分运算。
• 计算$Q_n=V\cdot \frac{1}{n}{\sum }_{i=1}^{n}f({\mathbf{x}}_i)$；
• $Q_n$即为积分$I={\int }_{\Omega }f(\mathbf{x})d\mathbf{x}$的近似估计。

五、 近似期望

• 定义$X$为$d$维随机变量；
• 定义$p(\mathbf{x})$为概率密度函数；
  • 性质：${\int }_{{\mathbb{R}}^d}p(\mathbf{x})d\mathbf{x}=1$（连续分布）。
• 函数$f(\mathbf{x})$的期望：${\mathbb{E}}_{X\sim p}[f(X)]={\int }_{{\mathbb{R}}^d}f(x)\cdot p(\mathbf{x})d\mathbf{x}$；
• 首先随机抽样：（注意此处不是均匀抽样）根据概率密度函数$p(\mathbf{x})$随机抽取$n$个样本，记作${\mathbf{x}}_1,\dots ,{\mathbf{x}}_n$；
• 计算$Q_n=\frac{1}{n}{\sum }_{i=1}^{n}f({\mathbf{x}}_i)$；
• $Q_n$即为对期望${\mathbb{E}}_{X\sim p}[f(X)]$的估计。（样本数量$n$越大，蒙特卡洛估计越准确）