期望与方差 概率论复习笔记

期望与方差

1.数学期望

数学期望是概率论中的一个重要概念，它描述了一个随机变量的平均值或中心值。数学期望也被称为期望值或均值。它是对随机变量可能取值的加权平均，其中权重是每个可能取值的概率。

1.1 离散型随机变量的期望

对于离散随机变量 X ，其可能的取值为 x1,x2,…,xn，对应的概率为
$$P(X=x_i)=p_i$$
，则 X 的数学期望定义为：
$$E(X)=\sum _{i=1}^n{x}_i{p}_i$$

其中 xi是随机变量 X 的可能取值，pi是 X取值为 xi的概率。

例子

1.有三个人的体重分别为150、165、180，求体重的期望值。

解：

三个人体重的概率相等，都是1/3，所以期望值：
$$EX=\frac{1}{3}\times 150+\frac{1}{3}\times 165+\frac{1}{3}\times 180=165$$
其实就是求平均体重。

2.学校举行歌唱比赛，假设给一个参赛选手打分，专业评委打分90，老师打分100，学生打分80，专业评委分数权重为0.9，老师权重为0.09，学生权重为0.01，求给该选手的打分期望值。

解：

设随机变量X，其取值分别为打分值：90、100、80，对应的概率为打分权重：0.9、0.09、0.01

所以，X的期望值为：
$$EX=90\times 0.9+100\times 0.09+80\times 0.01=90.8$$
该题其实就是加权平均值。

3.甲乙两人X、Y生产产品，次品率分别为：

X	0	1	2	3
P	0.3	0.3	0.2	0.2

Y	0	1	2	3
P	0.2	0.5	0.3	0.0

求甲乙谁的次品率高。

解：根据期望值来计算：

甲：
$$EX=0\times 0.3+1\times 0.3+2\times 0.2+3\times 0.2=1.3$$
乙：
$$EY=0\times 0.2+1\times 0.5+2\times 0.3+3\times 0.0=1.1$$
所以甲的次品率高。

1.2 连续型随机变量的期望

对于连续随机变量 X ，其概率密度函数为 f(x) ，则 X 的数学期望定义为：
$$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$$
说明：

可以将x理解为随机变量X的取值，f(x)理解为对应的概率。在严格意义上不是正确的，帮助我们理解。

例子

假设概率密度函数
$$f(x)=\{\begin{array}{ll}2x,& 0<x<1\\ 0,& 其它\end{array}$$
求期望值。

解：
$$EX={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_{-\infty }^{0}xf(x)dx+{\int }_0^{1}xf(x)dx+{\int }_0^{+\infty }xf(x)dx={\int }_0^{1}xf(x)dx={\int }_0^{1}x2xdx=\frac{2}{3}$$

1.3 随机变量函数的期望

1.3.1 离散型随机变量函数的期望

如果 X 是一个离散随机变量，其可能的取值为 x1,x2,…,xn，对应的概率为 P(X=xi)=pi，那么函数 Y=g(X) 的期望值定义为：
$$EY=\sum _{i=1}^{n}g(x_i)p_i$$
说明：

g(xi)：X的取值xi带入函数Y=g(X)得到的新的取值。

计算逻辑：

将X的取值直接带入Y=g(X)函数得出新的取值，然后新值乘以对应的概率，将所有新取值与对应概率乘积相加即可。

例子

假设X的概率分布表：

X	0	1	2
P	0.1	0.6	0.3

函数Y=4X+1，求Y的期望。

解：
$$EY=(4\times 0+1)\times 0.1+(4\times 1+1)\times 0.6+(4\times 2+1)\times 0.3=0.1+3+2.7=5.8$$

1.3.2 连续型随机变量函数的期望

如果 X 是一个连续随机变量，其概率密度函数为 f(x)，那么函数 Y=g(X)的期望值定义为：
$$EY={\int }_{-\infty }^{+\infty }g(x)f(x)dx$$
例子

假设密度函数
$$f(x)=\{\begin{array}{ll}\frac{1}{2},& 0\le x\le 2\\ 0,& 其它\end{array}$$
函数Y=4X+1，求Y的期望。

解：直接代入公式
$$EY={\int }_{-\infty }^{+\infty }g(x)f(x)dx={\int }_{-\infty }^{+\infty }(4x+1)f(x)dx={\int }_0^2\frac{1}{2}(4x+1)dx=5$$

1.3.3 二维离散型随机变量函数的期望

如果 (X,Y) 是离散随机变量，其取值集合为 {(xi,yj)} ，对应的概率为
$$P(X=x_i,Y=y_j)=p_{ij}$$
，那么函数 Z=g(X,Y) 的数学期望定义为：
$$EZ=\sum _i\sum _{j}g(x_i,y_j)p_{ij}$$
说明：
$$g(x_i,y_j)$$
表示将X、Y的所有取值按照Z=g(X,Y) 计算出新的取值。

例子

假设X、Y联合概率分布表：

X\y	0	1	2
1	0.1	0.1	0.2
2	0.2	0.2	0.2

求
$$Z=X^2-Y$$
的期望。

解：

将X、Y的所有取值按照Z=g(X,Y) 计算出新的取值，乘以对应的概率，然后相加。
$$EZ=(1^1-0)\times 0.1+(1^2-1)\times 0.1+(1^2-2)\times 0.2+(2^2-0)\times 0.2+(2^2-1)\times 0.2+(2^2-2)\times 0.2=0.1+0-0.2+0.8+0.6+0.4=1.7$$

1.3.4 二维连续型随机变量函数的期望

如果 (X,Y) 是连续随机变量，其联合概率密度函数为 f(x,y)，那么函数 Z=g(X,Y)的数学期望定义为：
$$EZ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$$
这里，g(X,Y) 是 X和 Y的函数。

例子

假设X、Y的联合密度函数
$$f(x,y)=\{\begin{array}{ll}x+y,& 0\le x\le 1,0\le y\le 1\\ 0,& 其它\end{array}$$
求E(XY)

解：直接代入公式
$$E(XY)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy={\int }_0^1{\int }_0^{1}xy(x+y)dxdy={\int }_0^{1}dx{\int }_0^1{x}^{2}y+x{y}^{2}dy=\frac{1}{3}$$

1.4 数学期望的性质

1. 常数的期望等于常数，EC=C
2. E(X+C)=EX+C
3. E(CX)=C*EX
4. E(kX+b)=k*EX+b
5. E(X±Y)=EX+EY (任何时候都成立 )
   E(∑CiXi) = ∑CiEXi
6. X、Y独立，E(XY)=EX*EY

例子

假设X、Y独立，X和Y的分布表如下：

X	9	10	11
P	0.3	0.5	0.2

Y	6	7
P	0.4	0.6

求：
$$1.E(X+Y)；2.E(XY)；3.E(Y^2)$$
解：

先计算EX和EY：
$$\begin{gathered} EX=9\times 0.3+10\times 0.5+11\times 0.2=9.9 \\ EY=6\times 0.4+7\times 0.6=6.6 \end{gathered}$$
1.使用性质5计算
$$E(X+Y)=EX+EY=9.9+6.6=16.5$$
2.使用性质6计算
$$E(XY)=EXEY=9.9\times 6.6=65.34$$
3.两个事件Y不能确定是独立的，所以不能使用性质计算，使用定义来做
$$E(Y^2)=(6\times 6)\times 0.4+(7\times 7)\times 0.6=36\times 0.4+49\times 0.6=43.8$$

2.方差

方差是统计学中一个重要的概念，用于衡量随机变量或一组数据的离散程度。它反映了数据点与其平均值之间的偏离程度。方差越大，数据点越分散；方差越小，数据点越集中。

对于一个随机变量 X，其方差 Var(X)或DX定义为：
$$DX=E[(X-EX{)}^2]=E(X^2)-(EX{)}^2$$

$$\sqrt{DX}$$

叫做标准差。

2.1 离散型随机变量的方差

对于离散型随机变量 X，其方差可以表示为：
$$DX=\sum _i(x_i-EX{)}^2\cdot P(X=x_i)$$
例子

假设

X	-2	0	2
P	0.4	0.3	0.3

求方差DX。

解：

先求EX：
$$EX=(-2)\times 0.4+0\times 0.3+2\times 0.3=-0.2$$
再求EX^2:
$$E{X}^2=(-2{)}^2\times 0.4+0^2\times 0.3+2^2\times 0.3=0.16+0.12=2.8$$
求方差：
$$DX=E{X}^2-(EX{)}^2=2.8-0.04=2.76$$

2.2 连续型随机变量的方差

对于连续型随机变量 XX，其方差可以表示为：
$$DX={\int }_{-\infty }^{\infty }(x-EX{)}^2\cdot f(x)dx$$
例子

假设密度函数：
$$f(x)=\{\begin{array}{ll}2x,& 0<x<1\\ 0,& 其它\end{array}$$
求方差DX。

解：

求EX：
$$EX={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_0^{1}x\cdot 2xdx=\frac{2}{3}$$
求EX^2:
$$E{X}^2={\int }_{-\infty }^{+\infty }{x}^{2}f(x)dx={\int }_0^1{x}^2\cdot 2xdx=\frac{1}{2}$$
求DX：
$$DX=E{X}^2-(EX{)}^2=\frac{1}{2}-(\frac{2}{3}{)}^2=\frac{1}{18}$$

2.3 方差的性质

1. 常数的方差：DC = 0

2. D(X+C) = DX

3. $$D(CX)=C^{2}DX$$

4. $$D(kX+b)=k^{2}DX$$

5. X、Y独立,D(X±Y) = DX+DY

6. X、Y不独立，D(X±Y) = DX+DY±2Cov(X,Y) Cov(X,Y)是协方差，后边会讲

这里需要注意方差的性质与期望性质的不同。

3.常见离散型的期望与方差

3.1 0-1分布

X	0	1
p	1-p	p

$$\begin{gathered} EX=p, \\ DX=E{X}^2-(EX{)}^2=p-p^2=p(1-p)=pq \end{gathered}$$

其中q=1-p

3.2 二项分布

$$P(x=k)=C_k^n{p}^k{q}^{(}n-k),k=0,1,\dots \dots n$$

期望与方差：
$$\begin{gathered} E(X)=n\cdot p \\ DX=n\cdot p\cdot (1-p)=npq \end{gathered}$$

3.3 几何分布

$$P(x=k)=(1-p{)}^{k-1}p,k=1,2,\dots \dots$$

$$\begin{gathered} EX=\frac{1}{p} \\ DX=\frac{(1-p)}{p^2} \end{gathered}$$

3.4 泊松分布

$$\begin{gathered} EX=\lambda \\ DX=\lambda \end{gathered}$$

4.常见连续型的期望与方差

4.1 均匀分布

$$\begin{gathered} EX={\int }_a^{b}x(\frac{1}{b-a})dx=(a+b)/2 \\ DX=(b-a{)}^2/12 \end{gathered}$$

4.2 指数分布

$$\begin{gathered} EX=\frac{1}{\lambda } \\ DX=\frac{1}{{\lambda }^2} \end{gathered}$$

4.3 正态分布

$$X\sim N(u,\sigma 2)$$

期望与方差：
$$\begin{gathered} EX=u \\ DX=\sigma 2 \end{gathered}$$

5.协方差

协方差是衡量两个随机变量之间线性关系强度的统计量。如果两个变量的协方差为正，它们之间存在正相关关系；如果协方差为负，它们之间存在负相关关系；如果协方差为零，它们之间没有线性关系。

5.1 定义

对于两个随机变量 X 和 Y，它们的协方差定义为：
$$Cov(X,Y)=E[(X-EX)(Y-EY)]$$
其中 EX 和 EY 分别是 X 和 Y 的期望值。

协方差的计算公式可以表示为：
$$Cov(X,Y)=E(XY)-EXEY$$

5.2 性质

$$\begin{gathered} Cov(X,Y)=Cov(Y,X) \\ Cov(aX,bY)=abCov(X,Y) \\ Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y) \\ Cov(C,X)=0 \\ X、Y独立，Cov(X,Y)=0 \end{gathered}$$

5.3 相关系数

协方差的一个限制是它的值依赖于变量的尺度。为了克服这个限制，通常使用相关系数（Pearson相关系数）来衡量两个变量之间的线性关系，其定义为：
$$\rho =\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$$
相关系数的值在 -1 和 1 之间，其中 -1 表示完全负相关，1 表示完全正相关，0 表示没有线性关系。

解释

• 正相关：如果相关系数为正，表明当一个变量的值增加时，另一个变量的值也倾向于增加。
• 负相关：如果相关系数为负，表明当一个变量的值增加时，另一个变量的值倾向于减少。
• 无相关：如果相关系数为零，表明两个变量之间没有线性关系。

6.原点矩和中心距

中心距和原点矩分别描述了随机变量在其期望值（中心）和原点（零点）周围的分布情况。

6.1 原点矩

原点矩是随机变量 X与原点0的差 的幂次期望值。对于随机变量 X，其 k 阶原点矩定义为：
$${\mu }_k^{\prime }=E{X}^k$$
其中 E 表示期望值。可以理解为：
$${\mu }_k^{\prime }=E(X-0{)}^k$$
常见原点矩

• 一阶原点矩：
  $${\mu }_1^{\prime }=EX$$

  这实际上是随机变量 X 的期望值（平均值）。

• 二阶原点矩：
  $${\mu }_2^{\prime }=E{X}^2$$

  这实际上是随机变量 X 的平方的期望值。

6.2 中心距

中心距

中心距是随机变量 X 与其期望值 EX的差的幂次期望值。对于随机变量 X，其 k 阶中心距定义为：
$${\mu }_k=E[(X-EX{)}^k]$$
其中 E 表示期望值。

常见中心距

• 一阶中心距：
  $${\mu }_1=E[(X-EX)]=0$$
  这实际上是零，因为
  $$E[X-EX]=EX-EX=0$$

• 二阶中心距：
  $${\mu }_2=E[(X-EX{)}^2]$$

  这实际上是随机变量 X 的方差 DX。