概率论与数理统计：数字特征

1、数学期望

离散型数据

设随机变量$X$只取得有限个可能值$a_1,\cdots ,a_m$，其概率分布为$P(X=a_i)=p_i,(i=1,\cdots ,m)$，则$X$的数学期望，即
$$E(X{)}^{\ast }=EX=a_1{p}_1+a_2{p}_2+\cdots a_m{p}_m$$
一般理解为以概率为权的加权平均。

$N$次试验中$X$的取值，记为
$$\begin{array}{rl}\bar{X}& =(a_1{N}_1+a_2{N}_2+\cdots +a_m{N}_m)/N\\ & =a_1(N_1/N)+a_2(N_2/N)+\cdots +a_m(N_m/N)\end{array}$$

其中$N_i/N$是事件$X=a_i$在$N$次试验中的频率，当$N$很大时$N_i/N$接近$p_i$，$X$的数学期望$E(X)$，可认为在大量试验之下$X$在各次试验中取值的平均。

连续型数据

设$X$有概率密度函数$f(x)$，如果
$${\int }_{-\infty }^{\infty }|x|f(x)dx\le \infty$$
则称
$$E(x)={\int }_{-\infty }^{\infty }xf(x)dx$$
为$X$的数学期望（由$E(X^{\prime })\approx {\sum }_i{x}_{i}f(x_i)\Delta x_i$推导而来）。

常见分布的数学期望

（1）设$X$服从泊松分布$X\sim P(\lambda )$，则
$$E(X)=\sum _{i=0}^{\infty }i\frac{{\lambda }^i}{i!}{e}^{-\lambda }=\lambda e^{-\lambda }\sum _{i=1}^{\infty }\frac{{\lambda }^{i-1}}{(i-1)!}=\lambda e^{-\lambda }\sum _{i=0}^{\infty }\frac{{\lambda }^i}{i!}=\lambda$$

（2）设$X$服从$[a,b]$区间的均匀分布，则
$$E(X)=\frac{1}{b-a}{\int }_a^{b}xdx=\frac{1}{2}(a+b)$$

（3）若$X$服从指数分布，则
$$E(X)=\lambda {\int }_0^{\infty }x{e}^{-\lambda x}dx={\lambda }^{-1}{\int }_0^{\infty }x{e}^{-x}dx={\lambda }^{-1}\Gamma (2)={\lambda }^{-1}$$

（4）设$X$服从正太分布$N(\mu ,{\sigma }^2)$，则
$$E(X)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{\infty }x{e}^{-\frac{(x-u{)}^2}{2{\sigma }^2}}dx$$

\quad 令$x=\mu +\sigma t$，则由对称性容易推得
$$E(X)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{\infty }(\mu +\sigma t)e^{-t^2/2}dt=u$$

数学期望性质

（1）若干个随机变量之和的期望等于各变量的期望之和，即
$$E(X_1+X_2+\cdots +X_n)=E(X_1)+E(X_2)+\cdots +E(X_n)$$

（2）若干个独立随机变量之积的期望等于各变量的期望之和，即
$$E(X_1{X}_2\cdots X_n)=E(X_1)E(X_2)\cdots E(X_n)$$

（3）设随机变量$X$为离散型，有分布$P(X=a_i)=p_i(i=1,2,\cdots )$;或者为连续型，有概率密度函数$f(x)$，则
$$E(g(X))=\sum _{i}g(a_i)p_i或E(g(X))={\int }_{-\infty }^{\infty }g(x)f(x)dx$$

\quad\quad 特殊情况下，若$c$为常数，则$E(cX)=cE(X)$

（4）设连续型随机变量$X$的分布函数为$F(x)$，则满足条件
$$P(X\le m)=F(m)=1/2$$

的数$m$称为$X$或分布$F$的中位数。

2、方差与矩

方差

设$X$为随机变量，分布为$F$，则
$$Var(X)=E(X-EX{)}^2=E(X^2)-(EX{)}^2$$

称为$X$(或分布$F$)的方差，其平方根$\sqrt{Var(X)}$称为$X$(或分布$F$)的标准差。

性质:
$1^{。}$常数的方差为0；

$2^{。}$若$c$为常数，则$Var(X+c)=Var(X)$；

$3^{。}$若$c$为常数，则$Var(cX)=c^{2}Var(X)$；

如对于随机变量 X = { 1 , 2 , 3 } X=\{1,2,3\} X={1,2,3}，均值$\bar{X}=2$，则方差
$$S^2=\frac{(1-2{)}^2+(2-2{)}^2+(3-2{)}^2}{3}$$

可视为 { 1 , 2 , 3 } \{1,2,3\} {1,2,3}发生的概率均为$1/3$。

矩

设$X$为随机变量，$c$为常数，$k$为正整数，则量$E[(X-c{)}^k]$称为$X$关于$c$点的$k$阶矩。

（1）$c=0$，此时${\alpha }_k=E(X^k)$称为$X$的$k$阶原点矩；

（2）$c=E(X)$，此时$\mu =E[(X-EX{)}^k]$称为$X$的k阶中心矩；

即一阶原点矩就是期望，二阶中心矩就是方差。

协方差

$$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)$$
性质：
$1^{。}$若$X$，$Y$独立，则$Cov(X,Y)=0$；

$2^{。}$$Co{v}^2(X,Y)\le {\sigma }_1^2{\sigma }_2^2$，当前仅当$X$，$Y$有严格线形关系时，等号成立(即$Y=a+bX$)；

证明： 考虑下式
$$E[t(X-E(X))+(Y-E(Y)){]}^2={\sigma }_1^2{t}^2+2Cov(X,Y)t+{\sigma }_2^2$$

\quad 显然上式对于所有的$t$均成立，由一元二次方程大于零，知系数满足
$${\sigma }_1^2{\sigma }_2^2\ge Co{v}^2(X,Y)$$

\quad 若上式等号成立，则有
$${\sigma }_1^2{t}^2+2Cov(X,Y)t+{\sigma }_2^2=(t{\sigma }_1+{\sigma }_2{)}^2=0$$

\quad 故$t_0=-{\sigma }_2/{\sigma }_1$时，等式成立。由于$E^2(Z)$的非负性，知性质2得证，即
$$t(X-E(X))+(Y-E(Y))=0$$

相关系数

$$Corr(X,Y)=Cov(X,Y)/({\sigma }_1{\sigma }_2)$$
性质：
$1^{。}$若$X$，$Y$独立，则$Corr(X,Y)=0$；

$2^{。}$$|Corr(X,Y)|\le 1$，当且仅当$X$，$Y$有严格线形关系时等式成立；

相关系数常称为"线形相关系数"，相关系数只是反映了$X$，$Y$的"线性"相关程度；对于非线性关系，$|Corr(X,Y)|$的值不定。

如设$X\sim R(-1/2,1/2)$，即区间$[-1/2,1/2]$内的均匀分布，而$Y=cos(X)$，由于$E(X)=0$知
$$Cov(X,Y)=E(XY)=E(Xcos(X))={\int }_{-1/2}^{1/2}xcosxdx=0$$

$X$，$Y$有严格的函数关系（非线性），但其协方差为0。