蒙特卡洛（Monte Carlo）积分的入门

转自 http://www.opengpu.org/forum.php?mod=viewthread&tid=198

概率密度描述了一个随机变量的值在区域的概率分布。



概率密度函数（probability density function）为描述随机变量的概率分布。亦为累积分布函数（CDF）之导函数


定义

对于一维实随机变量X，任何一个满足下列条件的函数fX(x)都可以被定义为其概率密度函数：

• 
• 

随机变量X在区间上的概率可以由其概率密度函数的定积分表示：



而



是X的累积分布函数，显然概率密度函数是它的导函数。

------------------------------------------------------------------------------------------------------

期望值则描述了一个以随机变量作为输入的函数值趋势，即平均值。


在概率论和统计学中，一个离散性随机变量的期望值（或数学期望、或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。换句话说，期望值是随机试验在同样的机会下重复多次的结果计算出的等同“期望”的平均值。需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。(换句话说，期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。)

例如，掷一枚六面骰子的期望值是3.5，计算如下：


3.5不属于可能结果中的任一个。

赌博是期望值的一种常见应用。例如，美国的轮盘赌中常用的轮盘上有38个数字，每一个数字被选中的概率都是相等的。赌注一般押在其中某一个数字上，如果轮盘的输出值和这个数字相等，那么下赌者可以将相当于赌注35倍的奖金和原赌注拿回（总共是原赌注的36倍），若输出值和下压数字不同，则赌注就输掉了。因此，考虑到38种所有的可能结果，以1美元赌注押一个数字上获利的期望值为：



结果约等于-0.0526美元。也就是说，平均起来每赌1美元就会输掉5美分，即以1美元作赌注的期望值为0.9474美元。在赌博中，一场每位参与者获利期望为0（没有净利或净亏）的游戏通常会被叫做“公平竞赛”。

数学定义

如果X是在机率空间(Ω, P)中的一个随机变量，那么它的期望值 E(X) 的定义是：



并不是每一个随机变量都有期望值的，因为有的时候这个积分不存在。如果两个随机变量的分布相同，则它们的期望值也相同。
如果 X 是一个离散的随机变量，输出值为 x1, x2, ...， 和输出值相应的机率为p1,p2, ... （机率和为1）, 那么期望值 E(X) 是一个无限数列的和。



上面赌博的例子就是用这种方法求出期望值的。

如果X的机率分布存在一个相应的机率密度函数f(x)，那么X 的期望值可以计算为：



这种算法是针对于连续的随机变量的，与离散随机变量的期望值的算法同出一辙，由于输出值是连续的，所以把求和改成了积分。


特性

• 期望值 E 是一个线性函数

X 和Y 为在同一机率空间的两个随机变量，a 和 b 为任意实数。

• 一般的说，一个随机变量的函数的期望值并不等于这个随机变量的期望值的函数。

• 在一般情况下，两个随机变量的积的期望值不等于这两个随机变量的期望值的积。特殊情况是当这两个随机变量是相互独立的时候（也就是说一个随机变量的输出不会影响另一个随机变量的输出）。

------------------------------------------------------------------------------------------------------


而计算期望值的另一种方法就是大数据量采样平均。





------------------------------------------------------------------------------------------------------

综上可得：



这个就是传说中的Monte Carlo积分估算法。