概率论——离散型随机变量

随机变量： 随机变量的定义

离散型随机变量

1 离散型随机变量的定义

  若一个随机变量最多有可数的多个可能取值，则称这个随机变量为离散型的。例如，对于抛两枚骰子的试验，令随机变量为两枚骰子点数之和，则随机变量可取的值即为2到12的每一个可取整数值。对于一个离散型随机变量$X$，定义$X$的概率分布列（probability mass function，PMF，又叫概率分布律、概率质量函数）$p(a)$为：
p ( a ) = P { X = a } p(a)=P\{X=a\} p(a)=P{X=a}
$p(a)$最多在可数个$a$上取正值，即，如果随机变量$X$的可取值为$x_1,x_2,\cdots$，那么对于每一个$x_i,i=1,2,\cdots$都有：
$$p(x_i)\ge 0$$
对于其他的$x$取值则有：
$$p(x)=0$$
并且对于所有的$X$的可取值有：
$$\sum _{i=1}^{\infty }p(x_i)=1$$

2 离散型随机变量的分布函数

  离散型随机变量的累积分布函数（分布函数）$F(a)$可通过$p(a)$进行计算，根据分布函数的定义可知：
$$F(a)=\sum _{x\le a}p(x)$$
若$X$是一个离散型随机变量，其可能的取值为$x_1,x_2,\cdots$，其中$x_1<x_2<x_3<\cdots$，则它的分布函数是一个阶梯函数，即在区间$(x_{i-1},x_i)$上取常数值，且在$x_i$处有跳跃，跳跃值为$p(x_i)$。

3 期望

  概率论中一个非常重要的概念就是随机变量的期望，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。假设$X$是一个离散型随机变量，其概率分布列为$p(x)$，那么$X$的期望或期望值记为$E[X]$，定义如下：
$$E[X]=\sum _{x:p(x)>0}xp(x)$$
$X$的期望值就是$X$所有可能取值的一个加权平均，每个值的权重就是$X$取该值的概率。需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。

4 随机变量函数的期望

  假设已知一个离散型随机变量$X$的分布列，现在要计算关于$X$的函数的期望，例如$g(X)$的期望。$g(X)$本身也是一个离散型随机变量，它就会有自己的分布列，根据$X$的分布列和函数$g(X)$的规则就可以轻易得到$g(X)$的分布列，然后再按照期望的定义便可计算出$E[g(X)]$。
  现在换一种理解方式，当$X=x$时，$g(X)=g(x)$，可以很合理地认为$E[g(X)]$就是$g(x)$的一个加权平均，其权重为$X=x$的概率，这样理解的话，就会有以下结论：如果$X$是一个离散型随机变量，其可能取值为$x_i,i\ge 1$，相应的取值概率为$p(x_i)$，那么对于任一实值函数$g$，都有：
$$E[g(X)]=\sum _{i}g(x_i)p(x_i)$$
根据这个结论还可以得到一个简单推论：
$$E[aX+b]=aE[X]+b$$
  随机变量$X$的期望$E[X]$，也称为$X$的均值（mean）或者一阶矩（first moment）。$E[X^n](n\ge 1)$称为$X$的$n$阶矩。

5 方差

  给定一个随机变量$X$及其分布函数$F$，假如我们想要了解$F$的本质属性，定义合适的度量是及其有用的。期望是一个比较好的度量，它给出了$X$每个可能取值的加权平均，但是它无法提供关于取值相对于平均值的偏离或离散程度的信息。一种合理$X$取值离散程度的度量方法是考虑$X$与$E[X]$的平均距离，如果$E[X]=\mu$，则考虑$E[|X-\mu |]$，但是在数学上处理这种度量是不方便的，更容易处理的度量通常考虑$X$与其均值距离的平方的期望，因此就有了方差的定义：如果随机变量$X$的期望为$\mu$，那么$X$的方差记为$Var(X)$，其定义为：
$$Var(X)=E[(X-\mu {)}^2]$$
根据前几节的结论可以非常容易地推出方差的另一表达式：
$$Var(X)=E[X^2]-(E[X]{)}^2$$
在实际应用中，该式是计算方差最简便的方法。另外对于常数$a$和$b$，有如下恒等式：
$$Var(aX+b)=a^{2}Var(X)$$
该式的推导也十分简单，依旧根据已知的结论进行推导即可。

参考资料：
《概率论基础教程》Sheldon M.Ross
百度百科：数学期望