期望和方差的定义与性质

HERBIER

已于 2022-06-23 00:01:08 修改

阅读量4.3k

点赞数 3

分类专栏：概率论文章标签：概率论

于 2021-12-05 19:00:20 首次发布

本文链接：https://blog.csdn.net/m0_63954365/article/details/121723210

版权

概率论专栏收录该内容

4 篇文章 2 订阅

订阅专栏

期望和方差的定义与性质

1 背景
2 数学期望
3 方差
4 参考文献

1 背景

分布函数是对随机变量的概率性质最完整的刻画，而随机变量的数字特征则是对某些由随机变量的分布所决定的常数，它刻画了随机变量（或者说，刻画了其分布）的某一方面的性质。我们在了解某一行业工人的经济状况时，首先关心的恐怕会是其平均收入(即期望)，这给了我们一个总体印象。另一类重要的数字特征，是衡量一个随机变量（或其分布）取值的散布程度(即方差)。

2 数学期望

2.1 定义

设离散型随机变量 $X$ 的分布律为
$P\{X=x_k\}=p_{k},\ k=1, 2, 3···.$
若级数
$\sum_{k=1}^{\infty}{x_kp_k}$
绝对收敛(即 $\sum_{k=1}^{\infty}{|x_k|p_k}<\infty$ )，则称级数 $\sum_{k=1}^{\infty}{x_kp_k}$ 的和为随机变量 $X$ 的数学期望，记为 $E (X)$ ，即
$E(X)=\sum_{k=1}^{\infty}{x_kp_k}$
设连续型随机变量 $X$ 的概率密度为 $f (x)$ ，若积分
$\int_{-\infty}^{\infty}{xf(x)dx}$
绝对收敛，则称积分 $\int_{-\infty}^{\infty}{xf(x)dx}$ 的值为随机变量 $X$ 的数学期望，记为 $E (X)$ ，即
$E(X)=\int_{-\infty}^{\infty}{xf(x)dx}$

2.2 性质

假设所遇到的随机变量的数学期望存在，则其期望具有以下重要的性质：

性质1：设 $C$ 是常数，则有 $E (C) = C .$
性质2：设 $X$ 是一个随机变量， $C$ 是常数，则有 $E (C X) = C E (X) .$
性质3：设 $X, Y$ 是俩个随机变量，则有 $E (X + Y) = E (X) + E (Y) .$ 这一性质可以推广到任意有限个随机变量之和的情况。
性质4：设 $X, Y$ 是相互独立的随机变量，则有 $E (X Y) = E (X) E (Y) .$ 这一性质可以推广到任意有限个相互独立的随机变量之积的情况。

2.3 证明

证明1： 设随机变量 $X$ 为常数 $C$ ，其概率密度为 $f (x)$ ，则根据期望定义可得
$\begin{aligned} \int_{-\infty}^{\infty}{xf(x)dx} &=\int_{-\infty}^{\infty}{Cf(x)dx}\\ &=C\int_{-\infty}^{\infty}{f(x)dx}\\ &=C, \end{aligned}$ 证毕。

证明2：设随机变量 $X$ 的概率密度为 $f (x)$ ， $C$ 为常数，则根据期望定义可得
$\begin{aligned} E(CX)&=\int_{-\infty}^{\infty}{Cxf(x)dx}\\ &=C\int_{-\infty}^{\infty}{xf(x)dx}\\ &=CE(X), \end{aligned}$ 证毕。

证明3：设二维随机变量 $(X, Y)$ 的概率密度为 $f (x, y)$ .其边缘概率密度为 $f_X{(x)},f_Y{(y)}$ ，由复合随机变量的期望可得
$\begin{aligned} E(X+Y)&=\int_{-\infty}^{\infty}{(x+y)f(x+y)dxdy}\\ &=\int_{-\infty}^{\infty}{xf(x+y)dxdy}+\int_{-\infty}^{\infty}{yf(x+y)dxdy}\\ &=E(X)+E(Y), \end{aligned}$ 证毕。
证明4:接着证明3，又若 $X 和 Y$ 相互独立，
$\begin{aligned} E(XY)&=\int_{-\infty}^{\infty}{xyf(x,y)dxdy}\\ &=\int_{-\infty}^{\infty}{xyf_X{(x)}f_Y{(y)}dxdy}\\ &=[\int_{-\infty}^{\infty}{xf_X{(x)}dx}][\int_{-\infty}^{\infty}{xf_X{(x)}}dx]\\ &=E(X)E(Y), \end{aligned}$ 证毕。

3 方差

3.1 定义

设 $X$ 是一个随机变量，若 $E\{[X-E(X)]^2\}$ 存在，则称 $E\{[X-E(X)]^2\}$ 为 $X$ 的方差，记为 $D (X)$ 或 $V a r (X)$ ，即
$D(X)=Var(X)=E\{[X-E(X)]^2\}.$ 应用中还引入量 $\sqrt{D(X)}$ ，记为 $\sigma(X)$ ，称为标准差或均方差。

对于离散型随机变量，有
$\begin{aligned} D(X)=\sum_{k=1}^{\infty}{[x_k-E(X)]^2p_x}, \end{aligned}$ 其中 $P\{X=x_k\}=p_x,k=1,2,···$ 是 $X$ 的分布律。

对于连续型随机变量，有
$\begin{aligned} D(X)=\int_{-\infty}^{\infty}{[x_k-E(X)]^2f_x}, \end{aligned}$ 其中 $f (x)$ 是 $X$ 的概率密度。

3.2 性质

性质1：设 $C$ 是常数，则有 $D (C) = 0 .$
性质2：设 $X$ 是一个随机变量， $C$ 是常数，则有 $D(CX)=C^2D(X),D(X+C)=D(X).$
性质3：设 $X, Y$ 是两个随机变量，则有 $D(X+Y)=D(X)+D(Y)+2\{(X-E(X))(Y-E(Y))\}.$ 特别地，若 $X, Y$ 相互独立，则有 $D (X + Y) = D (X) + D (Y) .$ 这一性质可以推广到任意有限多个相互独立的随机变量之和的情况。
性质4： $D (X) = 0$ 的充要条件是 $X$ 以概率1取常数 $E (X)$ ，即
$P{X=E(X)}=1$

3.3 证明

证明1： $D(C)=E\{[C-E(C)^2]\}=0.$
证明2： $D(CX)=E\{[CX-E(CX)]^2\}=C^2E\{[X-E(X)]^2\}.$
$D(X+C)=E\{[X+C-E(C+X)]^2\}=E\{[X-E(X)]^2\}=D(X).$
证明3：
$\begin{aligned} D(X+Y)&=E\{[X+Y-E(X+Y)]^2\} \\ &=E\{[(X-E(X))+(Y-E(Y))]^2\} \\ &=E\{[X-E(X)]^2\} +E\{[Y-E(Y)]^2\}+2E\{[X-E(X)][Y-E(Y)] \}\\ &=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)] \end{aligned}$
上式右端第三项：
$\begin{aligned} 2E\{[X-E(X)][Y-E(Y)] &=2E\{(XY)-XE(X)-YE(X)+E(X)E(Y)\}\\ &=2\{E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)\}\\ &=2\{E(XY)-E(X)E(Y)\}. \end{aligned}$
若 $X, Y$ 相互独立，由数学期望的性质4可知上式右端为0，于是
$D (X + Y) = D (X) + D (Y) .$
证明4：
充分性：设 $P\{X=E(X)\}=1$ ，则有 $P\{X^2=[E(X)]^2\}=1$ ，于是 $D(X)=E(X^2)-[E(X)]^2=0$
必要性：设 $D (X) = 0$ ，要证 $P\{X-E(X)\}=1$ 。用反证法，假设 $P\{X=E(X)\}<1$ ，则对于某一个数 $\varepsilon>0$ ，有 $P\{X-E(X)\ge\varepsilon\}>0$ ，但由切比雪夫不等式（可参见上一文章切比雪夫不等式证明及应用），对于任意的 $\varepsilon>0$ 和 $\sigma=0$ ，可得 $P\{|X-E(X)|\ge\varepsilon\}=0$ ，但上下矛盾，于是 $P\{X=E(X)\}=1$ 。