宋浩概率论与数理统计-第四章-笔记

第四章

4.1.1 离散型变量的数学期望

$P(X=x_k)=P_k$，若$\sum _{k=1}^{\infty }{x}_k{P}_k$绝对收敛，则$E_X=\sum _{k=1}^{\infty }{x}_k{P}_k$称为期望或均值

定义中要求积数绝对收敛，保证了积数的和与求和顺序无关

离散型变量可以是无穷多个

4.1.2 连续型变量的数学期望

随机变量$X$，密度函数为$f(x)$，若${\int }_{-\infty }^{+\infty }xf(x)dx$绝对收敛，则$E_X={\int }_{-\infty }^{+\infty }xf(x)dx$称为数学期望

4.1.3 随机变量函数的数学期望

$Y=g(X)$

离散：
$E_X=\sum x_i{P}_i$
$E_Y=\sum g(x_i)P_i$
连续：
$E_X={\int }_{-\infty }^{+\infty }xf(x)dx$
$E_Y={\int }_{-\infty }^{+\infty }g(x)f(x)dx$

例
【例1】
$\begin{array}{cccc}X& 0& 1& 2\\ P& 0.1& 0.6& 0.3\end{array}$
$Y=4X+1$，求期望

解：
$\begin{array}{cccc}Y& 1& 5& 9\\ P& 0.1& 0.6& 0.3\end{array}$
$E_Y=1\times 0.1+5\times 0.6+9\times 0.3=5.8$

【例2】
$f(x)=\{\begin{array}{ll}\frac{1}{2}& 0\le x\le 2\\ 0& else\end{array}$
$Y=4X+1$，求$E_Y$

解：
$E_Y=E_{(4X+1)}={\int }_{-\infty }^{+\infty }(4x+1)f(x)dx={\int }_0^2\frac{1}{2}(4x+1)dx=5$

【例3】
设$X$为需求量，$X$在$[2000,4000]$上均匀分布，每卖出1吨赚3w，卖不出1吨损失1w，问最佳出口数量

解：
设$y$为出口数量，$Y$为收益
根据题意，有：
$Y=g(X)=\{\begin{array}{ll}3y& X\ge y\\ 3X-(y-X)& X<y\end{array}$

又因为
$f(x)=\{\begin{array}{ll}\frac{1}{2000}& 2000\le x\le 4000\\ 0& else\end{array}$

则：
$E_Y={\int }_{-\infty }^{+\infty }g(x)f(x)dx={\int }_{2000}^{4000}\frac{g(x)}{2000}dx=\frac{1}{2000}({\int }_{2000}^y(4x-y)dx+{\int }_y^{4000}3ydx)=\frac{1}{1000}(-y^2+7000y-4\times 10^6)$

当$y=3500$时，$E_Y$最大

二维变量函数：
设二维变量$(X,Y)$，求$Z=g(X,Y)$的期望
离散：$E_Z=\sum _i\sum _{j}g(x_i,y_i)P_{ij}$
连续：$E_Z={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$

例
【例4】
$f(x,y)=\{\begin{array}{ll}x+y& 0\le x\le 1,0\le y\le 1\\ 0& else\end{array}$
求$E_{(XY)}$

解：
$E_{(XY)}={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy={\int }_0^1{\int }_0^{1}xy(x+y)dxdy=\frac{1}{3}$

【例5】
$X$：进货量，$Y$：需求量，$XY$独立，且都服从在$[10,20]$上的均匀分布。卖出1件获利1000元，其他商店调货卖出获利500元，问平均利润。

解：
由题意，有：
$Z=g(X,Y)=\{\begin{array}{ll}1000Y& Y\le X\\ 1000X+500(Y-X)& Y>X\end{array}$
$f_X(x)=\{\begin{array}{ll}\frac{1}{10}& 10\le x\le 20\\ 0& else\end{array}$
$f_Y(y)=\{\begin{array}{ll}\frac{1}{10}& 10\le y\le 20\\ 0& else\end{array}$

计算可得：
$f(x,y)=f_X(x)f_Y(y)=\{\begin{array}{ll}\frac{1}{10}& 10\le x\le 20,10\le y\le 20\\ 0& else\end{array}$

因此：
$E_Z={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy=\frac{1}{100}{\int }_{10}^{20}dy{\int }_{10}^{20}g(x,y)dx=\frac{1}{100}{\int }_{10}^{20}dy[{\int }_{10}^{y}500(x+y)dx+{\int }_y^{20}1000ydx]\approx 14166.67$

4.1.4 数学期望的性质

1. $E(C)=C$（常数的期望等于常数）
2. $E(X+C)=E(X)+C$
3. $E(CX)=C\cdot E(X)$
4. $E(kX+b)=k\cdot E(X)+b$
5. $E(X\pm Y)=E(X)\pm E(Y)$
   $E(\sum C_{i}Xi)=\sum C_{i}E(X_i)$
   $E(\frac{1}{n}\sum X_i)=\frac{1}{n}\sum E(X_i)$
6. $XY$独立时，有：$E(XY)=E(X)\cdot E(Y)$

例
【例4】
$N$件产品，其中$M$件次品，任取$n$件（$n\le M\le N$），求次品数的期望。

解：
为次品编号1-M件，定义$X_i=\{\begin{array}{ll}1& 第i件次品取到\\ 0& 第i件次品未取到\end{array}，i=1,2,3,\cdots ,m$
设$X$表示次品总数，则$X=X_1+X_2+\cdots +X_M$

又$P(X_i=1)=\frac{n}{N}$
$P(X_i=0)=1-\frac{n}{N}$

故$E(X_i)=1\times \frac{n}{N}=\frac{n}{N}$
$E(X)=E(X_1)+\cdots +E(X_M)=\frac{n}{N}M$

4.1.5 条件期望

定义：一个变量取某个值的前提下，另一个变量的期望

离散型

$E(X|Y=y_j)=\sum x_{i}P(X=x_i|Y=y_j)$
$E(Y|X=x_i)=\sum y_{j}P(Y=y_j|X=x_i)$

例
$\begin{array}{cccc}X\backslash Y& 1& 2& 3\\ 0& 0.1& 0.2& 0.3\\ 1& 0.2& 0.1& 0.1\end{array}$

则：
$\begin{array}{cccc}Y& 1& 2& 3\\ P(Y|X=1)& 0.5& 0.25& 0.25\end{array}$

$E(Y|X=1)=1\times 0.5+2\times 0.25+3\times 0.25=1.75$

连续型

$E(X|Y=y)={\int }_{-\infty }^{+\infty }xf(x|y)dx$
$E(Y|X=x)={\int }_{-\infty }^{+\infty }yf(y|x)dy$

4.2.1 方差

偏离程度

方差：$D(X)=E((X-EX{)}^2)$
标准差：$\sqrt{D(X)}$

1. 离散型：$D(X)=\sum _k(x_k-E(X){)}^2{P}_k$
2. 连续型：$D(X)={\int }_{-\infty }^{+\infty }(x-E(X){)}^{2}f(x)dx$

常用公式：$D(X)=E(X^2)-E(X{)}^2$

例
【例2】
$f(x)=\{\begin{array}{ll}2x& 0<x<1\\ 0& else\end{array}$
求$D(X)$

解：
$E(X)={\int }_0^{1}x\cdot 2xdx=\frac{2}{3}$
$E(X^2)={\int }_0^1{x}^2\cdot 2xdx=\frac{1}{2}$
$D(X)=E(X^2)-E(X{)}^2=\frac{1}{18}$

【例3】
$f(x)=\{\begin{array}{ll}a{x}^2+bx+c& 0<x<1\\ 0& else\end{array}$
已知：$E(X)=0.5,D(X)=0.15$，求参数

解：
由题意，得：
${\int }_0^1(a{x}^2+bx+c)dx=1$
$E(X)={\int }_0^{1}x(a{x}^2+bx+c)dx=\frac{1}{2}$
$E(X^2)={\int }_0^1{x}^2(a{x}^2+bx+c)dx=\frac{a}{5}+\frac{b}{4}+\frac{c}{3}$

整理得方程组：
$\{\begin{array}{l}\frac{a}{4}+\frac{b}{3}+\frac{c}{2}=0.5\\ \frac{a}{5}+\frac{b}{4}+\frac{c}{3}=0.4\\ \frac{a}{3}+\frac{b}{2}+c=1\end{array}$

解得：$a=12,b=-12,c=3$

4.2.2 方差的性质

1. $D(C)=0$
2. $D(X+C)=D(X)$
3. $D(CX)=C^{2}D(X)$
4. $D(kX+b)=k^{2}D(X)$
5. 当$XY$独立时，$D(X\pm Y)=DX+DY$
   推论：当$X_1,X_2,\cdots ,X_n$独立时，$D(X_1\pm X_2\pm \cdots \pm X_n)=D{X}_1+\cdots +D{X}_n$
6. $D(X)=0⟺P(X=E(X))=1$

标准化：令$X^{\ast }=\frac{X-E(X)}{\sqrt{DX}}$，则一定有：$E(X^{\ast })=0,D(X^{\ast })=1$

4.3.1 常见离散型的期望和方差

$\begin{array}{cccc}分布& 定义& E(X)& D(X)\\ 0-1分布& P(X=k)=p^k(1-p{)}^{1-k},k=0,1& p& pq\\ 二项分布& P(X=k)=C_n^k{p}^k{q}^{n-k},k=0,1,\cdots ,n& np& npq\\ 几何分布& P(X=k)=(1-p{)}^{k-1}p,k=1,2,\cdots & \frac{1}{p}& \frac{1-p}{p^2}\\ 泊松分布& P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,\cdots & \lambda & \lambda \\ 均匀分布& f(x)=\{\begin{array}{ll}\frac{1}{b-a}& x\in [a,b]\\ 0& else\end{array}& \frac{a+b}{2}& \frac{(b-a{)}^2}{12}\\ 指数分布& f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& x>0\\ 0& else\end{array}& \frac{1}{\lambda }& \frac{1}{{\lambda }^2}\\ 正态分布& \varphi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{(x-\mu {)}^2}{2{\sigma }^2}}& \mu & {\sigma }^2\end{array}$

4.4.1 协方差

定义：$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]$

$Cov(X,Y)=E(XY-XE(Y)-YE(X)+E(X)E(Y))=E(XY)-E(Y)E(X)-E(X)E(Y)+E(X)E(Y)=E(XY)-E(X)E(Y)$
（常用计算公式）

$D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$

例
$\begin{array}{cccc}X\backslash Y& -1& 0& 1\\ -1& \frac{1}{8}& \frac{1}{8}& \frac{1}{8}\\ 0& \frac{1}{8}& 0& \frac{1}{8}\\ 1& \frac{1}{8}& \frac{1}{8}& \frac{1}{8}\end{array}$

$XY$独立，求$Cov(X,Y)$

解：
由题意，有：
$\begin{array}{cccc}X& -1& 0& 1\\ P& \frac{3}{8}& \frac{1}{4}& \frac{3}{8}\end{array}$

$\begin{array}{cccc}Y& -1& 0& 1\\ P& \frac{3}{8}& \frac{1}{4}& \frac{3}{8}\end{array}$

计算得：
$E(X)=0,E(Y)=0$
$E(XY)=0$

故
$Cov(X,Y)=0-0=0$

【例2】
$f(x,y)=\{\begin{array}{ll}x+y& 0\le x\le 1,0\le y\le 1\\ 0& else\end{array}$
求$Cov(X,Y)$

解：
$f_X(x)=\{\begin{array}{ll}x+\frac{1}{2}& 0\le x\le 1\\ 0& else\end{array}$
$f_Y(y)=\{\begin{array}{ll}y+\frac{1}{2}& 0\le y\le 1\\ 0& else\end{array}$

$E(X)=\frac{7}{12},E(Y)=\frac{7}{12}$
$E(XY)=\frac{1}{3}$

故：
$Cov(X,Y)=E(XY)-E(X)E(Y)=-\frac{1}{144}$

协方差的性质：

1. $Cov(X,Y)=Cov(Y,X)$
2. $Cov(aX,bY)=ab\cdot Cov(X,Y)$
3. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
4. $Cov(C,X)=0$
5. $XY$独立时，$Cov(X,Y)=0$

协方差$Cov(X,Y)$表示$XY$的关系，受到计量单位的影响

标准化：
$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}$
$Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}$

$Cov(X^{\ast },Y^{\ast })=E(X^{\ast }{Y}^{\ast })-E(X^{\ast })E(Y^{\ast })=E(\frac{X-E(X)}{\sqrt{D(X)}}\frac{Y-E(Y)}{\sqrt{D(Y)}})=\frac{E[(X-E(X))(Y-E(Y))]}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\rho$

4.4.2 相关系数

$\rho =\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{E(XY)-E(X)E(Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$
与$Cov(X,Y)$同正同负同0

例
【例2】
$D(X)=4,D(Y)=9,\rho =0.5$，求$D(X-Y)$

解：
$Cov(X,Y)=\rho \sqrt{D(X)}\sqrt{D(Y)}=3$
$D(X-Y)=D(X)+D(Y)-2Cov(X,Y)=7$

性质：$|\rho |\le 1$
引理：$[E(XY){]}^2\le E(X^2)E(Y^2)$（柯西-施瓦兹 不等式）

证：
设$g(t)=E((tX-Y{)}^2)=E(t^2{X}^2-2tXY+Y^2)=t^{2}E(X^2)-2tE(XY)+E(Y^2)\le 0$
上式可转化为一元二次函数形式，考虑函数图像，可得：
$\Delta =4[E(XY){]}^2-4E(X^2)E(Y^2)>0$
$[E(XY){]}^2\le E(X^2)E(Y^2)$
引理得证

欲证$|\rho |\le 1$，只需${\rho }^2\le 1$
令$X_1=X-E(X),Y_1=Y-E(Y)$
${\rho }^2=\frac{[E((X-E(X))(Y-E(Y))){]}^2}{D(X)D(Y)}=\frac{[E(X_1{Y}_1){]}^2}{E(X_1^2)E(Y_1^2)}\le 1$
上述性质得证

定理：$|\rho |=1⟺$$X$与$Y$以$P=1$成线性关系（即$P(Y=aX+b)=1$）

• $\rho =1$，则称$X,Y$完全正相关
• $\rho =-1$，则称$X,Y$完全负相关
• $|\rho |$接近$0$时，表示$X,Y$线性关系弱
• $\rho =0$，$X,Y$不存在线性关系

概念区分：
“$X,Y$不相关”——指$X,Y$线性不相关
“$X,Y$独立”——指$X,Y$没有任何关系（包括线性、非线性）

• $X,Y$独立，则$X,Y$不相关
• $X,Y$不相关，则$X,Y$不一定独立

特例：对于二维正态分布$(X,Y)$，独立与不相关是等价的

4.5 中心距与原点矩

中心距：$E[(X-E(X){)}^k]$（以$E(X)$为中心）
原点矩：$E(X^k)=E[(X-0{)}^k]$
（期望$E(X)$又称一阶原点矩）

一阶中心距：$E(X-E(X))=E(X)-E(X)=0$
二阶中心距：$E[(X-E(X))^2]，即方差

原点矩：

1. 离散型
   $\sum x_i^k{P}_i$
2. 连续型
   ${\int }_{-\infty }^{+\infty }{x}^{k}f(x)dx$

中心矩：

1. 离散型
   $\sum (x_i-E(X){)}^k{P}_i$
2. 连续型
   ${\int }_{-\infty }^{+\infty }(x-E(X){)}^{k}f(x)dx$

高于4阶的矩极少使用