【概率论与数理统计 Probability and Statistics 12】—— 随机变量的数字特征1

一、数学期望

1.1 一维离散型随机变量的数学期望

这里大家在中学应该都学过：一维离散型随机变量的数学期望就是把每一个 $x$ 和它对应的 $P$ 相乘。$$E[X]=\sum _{i=1}^{\infty }{x}_i{p}_i$$

1.1.1 几种常见离散型分布的数学期望

【1】二项分布的数学期望：若 $X$ ~ $B(n,p)$ 那么，$EX=np$
【2】泊松分布的数学期望：若 $X$ ~ $Pois(\lambda )$ 那么，$EX=\lambda ，DX=\lambda$
【3】几何分布的数学期望：

1.2 一维离散型随机变量函数的数学期望

如果有：$Y=g(X)$ 那么 $E[g(X)]$ 可以表示为：$$E[g(X)]=\sum _{i=1}^{\infty }g(x_i)p_i$$

1.3 一维连续型随机变量的数学期望

这里我们直接上公式：$$EX={\int }_{-\infty }^{+\infty }x{f}_X(x)dx$$

1.3.1 几种常见连续型分布的数学期望

【1】均匀分布：若 $X$ ~ $U[a,b]$那么，$EX=\frac{a+b}{2}$
【2】正态分布：若 $X$ ~ $N(\mu ,{\sigma }^2)$，那么其数学期望为 $EX=\mu$
【3】指数分布：若 $X$ ~ $Exp(\lambda )$，那么其数学期望为：$EX=\frac{1}{\lambda }$

1.4 一维连续型随机变量函数的数学期望

1.5 数学期望的性质

1. 常数 C 的数学期望也是 C：$EC=C$
2. $E(X+C)=EX+C$ 这里我们一样进行类比：假设全班同学在测量身高的时候都站在了一般高的砖头上，那么必然平均身高测出来就会高。
3. $E(kX+b)=kEX+b$
4. $E(X\pm Y)=EX\pm EY$
5. 当 $X,Y$ 独立时，$E(XY)=EX\cdot EY$

1.6 二维随机变量的期望

这一部分将在本博客的第2.2.1 和 2.2.2 节详细介绍！

二、方差

我们以身高为例，期望反应的是全班同学的平均身高，那么方差反应的就是全班同学身高的起伏
下面给出方差的定义式：$DX=E(X-EX{)}^2$，值得注意的是，我们这里是对 $(X-EX{)}^2$ 求期望。

下面我们分别给出离散型和连续型随机变量的方差的定义：
【1】离散型：$DX={\sum }_k(x_k-EX{)}^2{P}_k$
【2】连续型：$DX={\int }_{-\infty }^{+\infty }(x-EX{)}^2{f}_X(x)dx$

但是，往往在解题的时候我们很少用到（当然有时候也会有用）方差的定义，我们常常用这样一个公式：$$DX=E{X}^2-(EX{)}^2$$

2.1 方差的性质

1. 常数C 的方差恒为0：$DC=0$
2. $D(X+C)=DX$ 我们可以这样理解全班同学在测量身高时都站在一般高的砖头上了，那很明显大家都站高了一点对总的身高起伏是没有影响的。
3. $D(CX)=C^{2}DX$ 这里需要特别注意的是，在方差运算里面把常数 C 提出来需要变成 $C^2$
4. $D(kX+b)=k^{2}DX$（这个其实就是性质二和性质三的结合）
5. 若 $X,Y$ 独立，则 $D(X\pm Y)=DX+DY$

2.2 协方差

我们先来看看协方差的定义：$$Cov(X,Y)=E[(X-EX)(Y-EY)]$$
我们一般很少用这个定义去计算协方差，而是用下面的公式：
$Cov(X,Y)=E[(X-EX)(Y-EY)]=E[XY-XEY-YEX+EXEY]=E(XY)-EXEY$
所以大家就要记得这个公式：$Cov(X,Y)=E(XY)-EXEY$。同时说一句，大家看这个定义就知道，Cov 是针对二维随机变量的。

进一步讲，我们在刚刚讨论协方差的性质时，不是有一条：若 $X,Y$ 独立，则 $D(X\pm Y)=DX+DY$ 那么下面我们将把约束条件减小：
即对于任意X, Y ，均有：$D(X\pm Y)=DX+DY\pm 2Cov(X,Y)$

2.2.1 二维离散型随机变量的协方差计算

这里有固定的套路。我来解释解释：首先上公式：$Cov(X,Y)=E(XY)-EXEY$

1. 计算出X, Y 的边缘分布 ，然后根据它们的边缘分布表算出 $EX,EY$
2. 对于 $E(XY)$ 的计算，其实是和求一维随机变量期望原理一样的，就是把每一个(X, Y)对 相乘，然后乘上它们对应的联合概率，然后把所有这些项加起来。

我们举一个例子，就一目了然了：

$X\text{Y}$	-1	0	1
-1	$\frac{1}{8}$	$\frac{1}{8}$	$\frac{1}{8}$
0	$\frac{1}{8}$	0	$\frac{1}{8}$
1	$\frac{1}{8}$	$\frac{1}{8}$	$\frac{1}{8}$

下面计算 $Cov(X,Y)$

【第一步】先计算 X, Y 的边缘分布：

X	-1	0	1
p	$\frac{3}{8}$	$\frac{1}{4}$	$\frac{3}{8}$

Y	-1	0	1
P	$\frac{3}{8}$	$\frac{1}{4}$	$\frac{3}{8}$

根据两个边缘分布表，我们就可以分别计算出 $EX,EY$：
EX = -1x$\frac{3}{8}$ + 1x$\frac{3}{8}$ = 0；EY = -1x$\frac{3}{8}$ + 1x$\frac{3}{8}$ = 0

【第二步】计算 $E(XY)$
下面大家注意下面的式子：
E(XY) = (-1)x(-1)x$\frac{1}{8}$ + (-1)x1x$\frac{1}{8}$ + 1x(-1)x$\frac{1}{8}$ + 1x1x$\frac{1}{8}$ = 0

因此，最终我们得出：$Cov(X,Y)=0$

但是这里需要特别注意一件事情：协方差等于0能够推导出不相关，独立可推出不相关，但是不相关不能推出独立！

2.2.2 二维连续型随机变量的协方差计算

已知：$$f(x,y)=\{\begin{array}{l}x+yif(0\le x\le 1,0\le y\le 1)\\ 0else\end{array}$$
计算 $Cov(X,Y)$

【第一步】也是先计算 X,Y 的边缘分布：$$\begin{array}{rl}{f}_X(x)& ={\int }_{-\infty }^{+\infty }f(x,y)dy={\int }_0^1(x+y)dy=x+\frac{1}{2}\end{array}$$
同理也可以算出 Y 的边缘分布：$$f_Y(y)=y+\frac{1}{2}$$
因此，下面就可以开始计算 $EX,EY$：
$$EX={\int }_{-\infty }^{+\infty }x{f}_X(x)dx={\int }_0^{1}x(x+\frac{1}{2})dx=\frac{7}{12}$$
同理算出 EX = $\frac{7}{12}$

【第二步】计算 E(XY)：
$$\begin{array}{rl}E(XY)& ={\iint }_D(xy)f(x,y)dxdy\\ & ={\int }_0^1{\int }_0^{1}xy(x+y)dxdy\\ & =\frac{1}{3}\end{array}$$
最后我们就得出：$$Cov(X,Y)=\frac{1}{3}-\frac{7}{12}\frac{7}{12}=-\frac{1}{144}$$

2.2.3 协方差的一些性质

1. $Cov(X,Y)=Cov(Y,X)$
2. $Cov(aX,bY)=abCov(X,Y)$
3. 若$X,Y$ 独立，则 $Cov(X,Y)=0$。注意：反过来是不成立的！！！！
4. $Cov(C,X)=0$，即X 和一个常数的协方差等于0
5. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

在本次 $Blog$ 的最后，我们在讨论一个问题：

我们知道：协方差 $Cov(X,Y)$ 反应的是两个变量之间的关系。但是$Cov(X,Y)$ 却会收到计量单位的影响：比如说我们像衡量父子间身高的关系，如果我们用“米”做单位，父亲身高1.7m，儿子 1.8m，那么二者相差只有 0.1，但是如果用 cm 做单位，那么相差就是10了。

这时，为了避免单位带来的影响，我们引入了 “标准化” ：令：$$\begin{gathered} X^{\ast }=\frac{X-EX}{\sqrt{DX}} \\ {Y}^{\ast }=\frac{Y-EY}{\sqrt{DY}} \end{gathered}$$
最终，$Cov(X^{\ast },Y^{\ast })$ 就是一个不受单位影响的了，我们带入公式计算一下：$$\begin{array}{rl}Cov(X^{\ast },Y^{\ast })& =E(X^{\ast }{Y}^{\ast })-E{X}^{\ast }E{Y}^{\ast }\\ & =E(\frac{X-EX}{\sqrt{DX}}\cdot \frac{Y-EY}{\sqrt{DY}})-E(\frac{X-EX}{\sqrt{DX}})E(\frac{Y-EY}{\sqrt{DY}})\end{array}$$
我们先分析后面的：$$E(\frac{X-EX}{\sqrt{DX}})=\frac{1}{\sqrt{DX}}E(X-EX)=\frac{1}{\sqrt{DX}}(EX-EX)=0$$
同理，$E(\frac{Y-EY}{\sqrt{DY}})$ 也是等于0.因此，有：$$Cov(X^{\ast },Y^{\ast })=E(\frac{X-EX}{\sqrt{DX}}\cdot \frac{Y-EY}{\sqrt{DY}})=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$$
我们定义 $Cov(X^{\ast },Y^{\ast })$ 为相关系数，这将在下一篇博客里面学习！