深度强化学习王树森第二章-蒙特卡洛方法

随机变量

基本概念

随机变量是概率论中的概念,表示某一随机事件可能的结果.

随机变量不是一个值,可以理解成集合.集合中的元素是对应随机事件可能的结果.

例如,用随机变量X表示投掷骰子出现的点数.

投掷骰子就是一个随机事件.

出现的点数就是可能的结果.

所以随机变量X的取值就有{1,2,3,4,5,6}.

每一次投掷骰子得到的点数,通常用$x_1,x_2$进行表示.

$x_1,x_2$都分别对应一个观测值.$x_1,x_2$通常也称为样本.

如果随机变量X是有限的,离散的集合,那么就称为离散概率分布.

如果随机变量X的取值范围是连续的,那么就称为连续概率分布.

对于一个随机变量X,通常有两个属性进行衡量,那就是数学期望和方差.

数学期望

**数学期望$E(X)$是指随机变量X依概率收敛的平均值.

例如:对于一个质地均匀的骰子,其投掷1万次后,平均每次掷出的点数为:

$$\frac{{\sum }_{i=1}^6\frac{10000}{6}\ast i}{10000}$$
上式的含义为：理想情况下,每个点数出现的次数都是$\frac{1000}{6}$,乘以对应的点数，再除以总数就能求出平均点数，也就是数学期望.

而对于一个特殊制作的骰子,如果无论怎么投掷,得到的点数都是3,显然其投掷1万次后,平均每次掷出的点数为3,也就是数学期望.

简而言之,对于随机事件X而言,不同的结果对应的概率是不同的,因此如果需要随机事件的数学期望(平均值),就应当考虑其概率.从而有如下公式:
$$E(X)=\sum p_i\ast i$$
$p_i$表示结果 i