随机变量的数字特征

随机变量的数字特征

数学期望

定义:设X是一个随机变量,X的数学期望,记为E(X),定义为

$$E(X)=\{\begin{array}{l}{\sum }_i{x}_i{p}_i，离散形式\\ {\int }_{-\infty }^{+\infty }xf(x)dx，连续情形\end{array}$$
其中 p i = P { X = x i } p_i=P\{X=x_i\} pi​=P{X=xi​}，f(x)为密度函数

这里要求右式的级数或积分绝对收敛,即
$$\begin{gathered} \sum _i|x_i|p_i<\infty ，离散情形 \\ {\int }_{-\infty }^{+\infty }|x|f(x)dx<\infty ,连续情形 \end{gathered}$$

数学期望的性质
(1)设C是常数,则E©=C;
(2)若k是常数,则E(kX)=kE(X);
(3)E(E+Y)=E(X)+E(Y);
(4)设X,Y相互独立,则E(XY)=E(X)E(Y);
(5)若$X\ge 0$,则$E(X)\ge 0$;
(6)若$X\ge Y$,则$E(X)\ge E(Y)$;
(3)的变形(3)’$E({\sum }_{i=1}^n{X}_i)={\sum }_{i=1}^{n}E(X_i)$
(4)的变形(4)'若$X_1,X_2...X_n$相互独立,则$E(X_1{X}_2\cdot \cdot \cdot X_n)={\prod }_{i=1}^{n}E(X_i)$

柯西-施瓦茨不等式
设随机变量X,Y的数学期望及$E(X^2),E(Y^2)$都存在,则有$[E(XY){]}^2\le E(X^2)E(Y^2)$当且仅当存在实数C使P(Y=CX)=1上式等号成立
证:对任意实数$\lambda$有:$E(\lambda X+Y{)}^2={\lambda }^{2}E(X^2)+2\lambda E(XY)+E(Y^2)$,由于对任意$\lambda$恒有$E(\lambda X+Y{)}^2\ge 0$即关于$\lambda$的一元二次方程恒为非负,所以判别式必小于0,即$4[E(XY){]}^2-4E(X^2)E(Y^2)\le 0$,所以$[E(XY){]}^2\le E(X^2)E(Y^2)$,显然等号成立时即判别式等于0,存在常数${\lambda }_0$使得$E[({\lambda }_{0}X+Y{)}^2]=0$,即$P(Y=-{\lambda }_{0}X)=1$

方差

定义:设随机变量X的$E{X}^2$存在,则称偏差平方的数学期望$E[X-E(X){]}^2$为随机变量X(或相应分布)的方差记为
$Var(X)=E[X-E(X){]}^2$

方差的性质
(1)常数的方差为0;
(2)$Var(X+c)=Var(X)$,这里c是常数;
(3)$Var(cX)=c^{2}Var(X)$;
对于随机变量X,若它的数学期望E(X)及方差Var(X)都存在,而且Var(X)>0,则考虑标准化的随机变量$X^{\ast }=\frac{X-E(X)}{\sqrt{Var(X)}}$
显然$E(X^{\ast })=0,Var(X^{\ast })=1$这正是称$X^{\ast }$为标准化随机变量的理由
(4)若$c\ne E(X)$,则$Var(X)<E(X-c{)}^2$

常用的离散分布期望与方差

0—1分布

0—1分布的期望
其概率分布为:$P(X=0)=q,P(X=1)=p$
数学期望为:$E(X)=\sum i{p}_i=0\cdot q+1\cdot p=p$

0—1分布的方差
$E(X^2)=1^2\cdot p+0^2\cdot (1-p)=p$,所以$Var(X)=E(X^2)-E(X{)}^2)=p-p^2=pq$

二项分布

二项分布的期望
$X$~$B(n,p)$其分布列为:$P(X=k)=p_k=C_n^k{p}^k{q}^{n-k},k=0,1,2,\cdots n$
数学期望为:$E(X)={\sum }_{k=0}^{n}k{p}_k={\sum }_{k=0}^{n}k{C}_n^k{p}^k{q}^{n-k}=np{\sum }_{k=0}^n{C}_{n-1}^{k-1}{p}^{k-1}{q}^{n-k}=np(p+q{)}^{n-1}=np$

二项分布的方差
$E(X^2)={\sum }_{k=0}^n{k}^2{C}_n^k{p}^k{q}^{n-k}={\sum }_{k=1}^{n}k(k-1+1)C_n^k{p}^k(1-p{)}^{n-k}={\sum }_{k=1}^{n}k(k-1)C_n^k{p}^k(1-p{)}^{n-k}+{\sum }_{k=1}^{n}k{C}_n^k{p}^k(1-p{)}^{n-k}={\sum }_{k=2}^{n}n(n-1)\frac{(n-2)\cdots (n-k+1)}{(k-2)!}{p}^2{p}^{k-2}(1-p{)}^{n-k}+np=n(n-1)p^2+np$,
$Var(X)=E(X^2)-E(X{)}^2=n^2{p}^2-n{p}^2+np-n^2{p}^2=np(1-p)=npq$

泊松分布

泊松分布的期望
$X$~$P(\lambda )$其概率分布为:$P(X=k)=p_k=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,2,\cdots$
数学期望为:$E(X)={\sum }_{k=0}^{\infty }k{p}_k={\sum }_{k=0}^{\infty }k\frac{{\lambda }^k}{k!}{e}^{-\lambda }=\lambda e^{-\lambda }{\sum }_{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}=\lambda e^{-\lambda }{e}^{\lambda }=\lambda$

泊松分布的方差
$E(X^2)={\sum }_{k=0}^{\infty }{k}^2{p}_k={\sum }_{k=0}^{+\infty }{k}^2\frac{{\lambda }^k}{k!}{e}^{-\lambda }={\sum }_{k=1}^{+\infty }k\frac{{\lambda }^k}{(k-1)!}{e}^{-\lambda }={\sum }_{k=1}^{+\infty }[(k-1)+1]\frac{{\lambda }^k}{(k-1)!}{e}^{-\lambda }={\lambda }^2{e}^{-\lambda }{\sum }_{k=2}^{+\infty }\frac{{\lambda }^{k-2}}{(k-2)!}+\lambda e^{-\lambda }{\sum }_{k=1}^{+\infty }\frac{{\lambda }^{k-1}}{(k-1)!}={\lambda }^2+\lambda$,
$Var(X)=E(X^2)-E(X{)}^2={\lambda }^2+\lambda -{\lambda }^2=\lambda$

几何分布

几何分布的期望
其概率分布为:$P(X=k)=p_k=q^{k-1}p,k=1,2,\cdots$
数学期望为:$E(X)={\sum }_{k=1}^{\infty }k{p}_k={\sum }_{k=1}^{\infty }k{q}^{k-1}p=p(1+2q+3q^2+\cdots )=p(q+q^2+q^3+\cdots {)}^{{}^{\prime }}=p(\frac{q}{1-q}{)}^{{}^{\prime }}=p\frac{1}{(1-q{)}^2}=\frac{1}{p}$

几何分布的方差
$E(X^2)={\sum }_{k=1}^{+\infty }{k}^{2}p{q}^{k-1}=p[{\sum }_{k=1}^{+\infty }k(k-1)q^{k-1}+{\sum }_{k=1}^{+\infty }k{q}^{k-1}]=pq{\sum }_{k=1}^{+\infty }k(k-1)q^{k-2}+\frac{1}{p}=pq\frac{{\mathrm{d}}^2}{\mathrm{d}{\mathrm{q}}^2}({\sum }_{k=0}^{+\infty }{q}^k)+\frac{1}{p}=pq\frac{{\mathrm{d}}^2}{\mathrm{d}{\mathrm{q}}^2}(\frac{1}{1-q})+\frac{1}{p}=pq\frac{2}{(1-p{)}^3}+\frac{1}{p}=\frac{2q}{p^2}+\frac{1}{p}$,
$Var(X)=E(X^2)-E(X{)}^2=\frac{2q}{p^2}+\frac{1}{p}-\frac{1}{p^2}=\frac{1-p}{p^2}$

常用连续分布期望与方差

均匀分布

均匀分布的期望
其密度函数为:

$p(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ 0,其他\end{array}$

其数学期望为:$E(X)={\int }_a^b\frac{x}{b-a}\mathrm{d}\mathrm{x}=\frac{b^2-a^2}{2(b-a)}=\frac{a+b}{2}$

均匀分布的方差
$E(X^2)={\int }_a^b\frac{x^2}{b-a}\mathrm{d}\mathrm{x}=\frac{b^3-a^3}{3(b-a)}=\frac{a^2+ab+b^2}{3}$,
$Var(X)=E(X^2)-E(X{)}^2=\frac{a^2+ab+b^2}{3}-\frac{(a+b{)}^2}{4}=\frac{(b-a{)}^2}{12}$

正态分布

正态分布的期望
其密度函数为:$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$

其数学期望为:$E(X)={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}\mathrm{x}={\int }_{-\infty }^{+\infty }x\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}\mathrm{x}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }(\sigma z+\mu )e^{-\frac{z^2}{2}}\mathrm{d}\mathrm{z}=\frac{\mu }{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }{e}^{-\frac{z^2}{2}}\mathrm{d}\mathrm{z}=\mu$

正态分布的方差
根据方差的定义:$Var(X)={\int }_{-\infty }^{+\infty }(x-\mu {)}^2\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}\mathrm{x}=\frac{{\sigma }^2}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }{z}^2{e}^{-\frac{z^2}{2}}\mathrm{d}\mathrm{z}=\frac{{\sigma }^2}{\sqrt{2\pi }}[(-z{e}^{-\frac{z^2}{2}}){|}_{-\infty }^{+\infty }+{\int }_{-\infty }^{+\infty }{e}^{-\frac{z^2}{2}}\mathrm{d}\mathrm{z}]=\frac{{\sigma }^2}{\sqrt{2\pi }}\sqrt{2\pi }={\sigma }^2$

指数分布

指数分布的期望
其密度函数为:

$f(x)=\{\begin{array}{l}\lambda e^{-\lambda x},0\le x<\infty \\ 0,其他\end{array}$
其数学期望为:$E(X)={\int }_0^{+\infty }xf(x)\mathrm{d}\mathrm{x}={\int }_0^{+\infty }x\lambda e^{-\lambda x}\mathrm{d}\mathrm{x}=\frac{1}{\lambda }{\int }_0^{+\infty }u{e}^{-u}\mathrm{d}\mathrm{u}=\frac{1}{\lambda }$

指数分布的方差
$E(X^2)={\int }_0^{+\infty }{x}^2\lambda e^{-\lambda x}\mathrm{d}\mathrm{x}={\int }_0^{+\infty }{x}^2\mathrm{d}(-{\mathrm{e}}^{-\lambda \mathrm{x}})=-x^2{e}^{-\lambda x}{|}_0^{+\infty }+2{\int }_0^{+\infty }x{e}^{-\lambda x}\mathrm{d}\mathrm{x}=\frac{2}{{\lambda }^2}$,

$Var(X)=E(X^2)-E(X{)}^2=\frac{2}{{\lambda }^2}-\frac{1}{{\lambda }^2}=\frac{1}{{\lambda }^2}$

切比雪夫不等式

对于任何具有有限方差的随机变量X,都有

P { ∣ X − E ( X ) ∣ ≥ ϵ } ≤ V a r ( X ) ϵ 2 P\{|X-E(X)|\geq\epsilon\}\leq\frac{Var(X)}{\epsilon^2} P{∣X−E(X)∣≥ϵ}≤ϵ2Var(X)​

其中$ϵ$是任一正数

证:若F(x)是X的分布函数,则显然有

V a r ( X ) = ∫ − ∞ + ∞ ( x = E ( X ) 2 d F ( x ) ≥ ∫ ∣ x − E ( X ) ∣ ≥ ε ( x − E ( X ) ) 2 d F ( x ) ≥ ∫ ∣ x − E ( X ) ∣ ≥ ε ε 2 d F ( x ) = ε 2 P { ∣ X − E ( x ) ∣ ≥ ε } Var(X)=\int_{-\infty}^{+\infty}(x=E(X)^2{\rm d}F(x) \ge \int_{|x-E(X)| \ge \varepsilon}(x-E(X))^2dF(x) \ge \int_{|x-E(X)| \ge \varepsilon} \varepsilon^2dF(x)= \varepsilon^2P\{|X-E(x)| \ge \varepsilon\} Var(X)=∫−∞+∞​(x=E(X)2dF(x)≥∫∣x−E(X)∣≥ε​(x−E(X))2dF(x)≥∫∣x−E(X)∣≥ε​ε2dF(x)=ε2P{∣X−E(x)∣≥ε}

有时改写成 P { ∣ X − E ( X ) ∣ < ϵ } ≥ 1 − V a r ( X ) ε 2 P\lbrace|X-E(X)|<\epsilon\rbrace \ge 1-\frac{Var(X)}{\varepsilon^2} P{∣X−E(X)∣<ϵ}≥1−ε2Var(X)​或$P|\frac{X-E(X)}{\sqrt{Var(X)}}|\ge \delta$其中$\delta$是任一正数

分布	分布函数	期望	方差
0—1分布	$p_k=p^k(1-p{)}^{1-k},k=0,1.$	$p$	$p(1-p)$
二项分布 $b(n,p)$	$p_k=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,\cdots ,n$	$np$	$np(1-p)$
泊松分布 $P(\lambda )$	$p_k=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,\cdots$	$\lambda$	$\lambda$
几何分布 $Ge(p)$	$p_k=(1-p{)}^{k-1}p,k=1,2,\cdots$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
正态分布 $N(\mu ,{\sigma }^2)$	p ( x ) = 1 2 π σ e x p { − ( x − μ ) 2 2 σ 2 } , − ∞ < x < + ∞ p(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\lbrace -\frac{(x-\mu)^2}{2\sigma^2} \rbrace,-\infty<x<+\infty p(x)=2π ​σ1​exp{−2σ2(x−μ)2​},−∞<x<+∞	$\mu$	${\sigma }^2$
均匀分布 $U(a,b)$	$p(x)=\frac{1}{b-a},a<x<b$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数分布 $Exp(\lambda )$	$p(x)=\lambda e^{-\lambda x},x\ge 0$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
伽马分布 $Ga(\alpha ,\lambda )$	$p(x)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x},x\ge 0$	$\frac{\alpha }{\lambda }$	$\frac{\alpha }{{\lambda }^2}$
${\chi }^2(n)$分布	$p(x)=\frac{x^{n/2-1}{e}^{-x/2}}{\Gamma (n/2)2^{n/2}}$	$n$	$2n$
贝塔分布 $Be(a,b)$	$p(x)=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{x}^{a-1}(1-x{)}^{b-1},0<x<1$	$\frac{a}{a+b}$	$\frac{ab}{(a+b{)}^2(a+b+1)}$

其他特征数

k阶矩

• 设$X$为随机变量,$k$为正整数.如果以下的数学期望都存在,则称
  ${\mu }_k=E(X^k)$
  为$X$的$k$阶原点矩,称
  ${\gamma }_k=E(X-E(X){)}^k$
  为$X$的$k$阶中心矩.

变异系数

• 设随机变量$X$的二阶矩存在,则称比值
  $C_{\upsilon }(X)=\frac{\sqrt{Var(X)}}{E(X)}=\frac{\sigma (X)}{E(X)}$
  为$X$的变异系数.

分位数

• 设连续随机变量$X$的分布函数为$F(x)$,密度函数为$p(x)$,对任意$p\in (0,1)$,称满足条件
  $F(x_p)={\int }_{-\infty }^{x_p}p(x)\mathrm{d}\mathrm{x}=p$
  的$x_p$为此分布的$p$分位数,又称下侧$p$分位数.
  同样,满足条件
  $1-F(x_p^{{}^{\prime }})={\int }_{x_p^{{}^{\prime }}}^{+\infty }p(x)\mathrm{d}\mathrm{x}=p$

中位数

• 设连续随机变量$X$的分布函数为$F(x)$,密度函数为$p(x)$.称$p=0.5$时的$p$分位数$x_{0.5}$为此分布的中位数,即$x_{0.5}$满足
  $F(x_{0.5})={\int }_{-\infty }^{x_{0.5}}p(x)\mathrm{d}\mathrm{x}=0.5$

偏度系数

• 设随机变量$X$的三阶矩存在,则称比值
  ${\beta }_1=\frac{E(X-E(X){)}^3}{[E(X-E(X){)}^2{]}^{3/2}}=\frac{{\upsilon }_3}{({\upsilon }_2{)}^{3/2}}$
  为$X$的分布的偏度系数,简称偏度

峰度系数

• 设随机变量$X$的四阶矩存在,则称比值
  ${\beta }_2=\frac{E(X-E(X){)}^4}{[E(X-E(X){)}^2{]}^2}-3=\frac{{\upsilon }_4}{({\upsilon }_2{)}^2}-3$
  为$X$的分布的峰度系数,简称峰度.