常用离散、连续分布及期望、方差总结

预备定义

数学期望

定义

$$E[g(x)]=\{\begin{array}{ll}\sum _{i}g(x_i)p(x_i),& \text{离散场合}\\ & \\ {\int }_{-\infty }^{\infty }g(x)p(x)\mathrm{d}x,& \text{连续场合}\end{array}$$

性质

1. 常数期望为其自身；
2. $E(aX+b)=aE(X)+b$;
3. 多维随机变量亦满足线性性质；
4. 级数（积分）收敛，则期望存在；反之不存在，如Cauchy分布。

方差

定义

方差：$D(X)=E[X-E(X){]}^2=E(X^2)-[E(X){]}^2$,

标准差：$\sqrt{DX}$,

标准化的随机变量：$\frac{X-EX}{\sqrt{DX}}$.

性质

1. 常数方差为零；
2. $D(aX+b)=a^{2}D(X)$；
3. 极值性质：若$c\ne E(X)$, 则$D(X)=E[X-E(X{)}^2]=E(X-c{)}^2-(c-EX{)}^2<E(X-c{)}^2;$
4. 切比雪夫不等式（描述随机变量的变化情况）： P { ∣ X − E X ∣ ⩾ ε } ⩽ D X ε 2 P\{|X-EX|\geqslant\varepsilon\}\leqslant\frac{DX}{\varepsilon^2} P{∣X−EX∣⩾ε}⩽ε2DX​，或表示为 P { ∣ X − E X ∣ < ε } ⩾ 1 − D X ε 2 P\{|X-EX|<\varepsilon\}\geqslant1-\frac{DX}{\varepsilon^2} P{∣X−EX∣<ε}⩾1−ε2DX​.

协方差&相关系数

协方差

• $\mathrm{cov}(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX\cdot EY$.

• $D(X+Y)=D(X)+D(Y)+2\mathrm{cov}(X,Y)$.

相关系数

• $r_{ij}=\frac{\mathrm{cov}(X,Y)}{\sqrt{DX}\cdot \sqrt{DY}}$,

• 显然，相关系数也是标准化的两随机变量$\frac{X-EX}{\sqrt{DX}}$和$\frac{Y-EY}{\sqrt{DY}}$的协方差；

• 定义常数与任何随机变量的相关系数为$0$.

性质

1. $|r|⩽1$;
2. $r=0$，不相关；
3. 以下四个条件等价：

• $\mathrm{cov}(X,Y)=0$;
• $X$与$Y$不相关；
• $E(XY)=EX\cdot EY$;
• $D(X+Y)=DX+DY$.

4. 若$X$与$Y$独立，则$X$与$Y$不相关，反之不成立；
5. 二元正态分布的不相关性与独立性等价。

离散分布期望、方差

分布名称	密度函数$p(x)$	数学期望$E(X)$	方差$D(X)$
退化分布(单点分布)	$p_c=1$	$c$	$0$
伯努利分布(两点分布)	$p_k=p^k(1-p{)}^{1-k},k=0,1$	$p$	$p(1-p)$
二项分布	$b(k;n,p)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$	$np$	$np(1-p)$
泊松分布	$p(k;\lambda )=\frac{{\lambda }^k}{k!}{\mathrm{e}}^{-\lambda }$	$\lambda$	$\lambda$
几何分布	$g(k;p)=(1-p{)}^{k-1}p$	$1/p$	$(1-p)/p^2$
超几何分布	$p_k=\frac{\left(\genfrac{}{}{0ex}{}{M}{k}\right)\left(\genfrac{}{}{0ex}{}{N-M}{n-k}\right)}{\left(\genfrac{}{}{0ex}{}{N}{n}\right)}$	$\frac{nM}{N}$	$\frac{nM}{N}\left(1-\frac{M}{N}\right)\cdot \frac{N-n}{N-1}$
帕斯卡分布	$p_k=\left(\genfrac{}{}{0ex}{}{k-1}{r-1}\right)p^r(1-p{)}^{k-r},k=r,r+1,\cdots$	$\frac{r}{p}$	$\frac{r(1-p)}{p^2}$
负二项分布	$p_k=\left(\genfrac{}{}{0ex}{}{-r}{k}\right)p^r(p-1{)}^k,k=0,1,2,\cdots$	$\frac{r(1-p)}{p}$	$\frac{r(1-p)}{p^2}$

连续分布期望、方差

分布名称	密度函数$p(x)$	数学期望$E(X)$	方差$D(X)$
均匀分布	$p(x)=\{\begin{array}{ll}\frac{1}{b-a},& a⩽x⩽b\\ 0,& \text{其他}\end{array}$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
正态分布(Gauss分布)	$p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{\mathrm{e}}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$	$\mu$	${\sigma }^2$
指数分布	$p(x)=\{\begin{array}{ll}\lambda {\mathrm{e}}^{-\lambda x},& x⩾0\\ 0,& x<0\end{array}$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
伽玛分布($\Gamma$分布)	$p(x)=\{\begin{array}{ll}\frac{{\lambda }^r}{\Gamma (r)}{x}^{r-1}{\mathrm{e}}^{-\lambda x},& x⩾0\\ 0,& x<0\end{array}$	$\frac{r}{\lambda }$	$\frac{r}{{\lambda }^2}$
卡方分布(${\chi }^2$分布)	$p(x)=\{\begin{array}{ll}\frac{1}{2^{n/2}\Gamma (\frac{n}{2})}{x}^{\frac{n}{2}-1}{\mathrm{e}}^{-\frac{x}{2}},& x⩾0\\ 0,& x<0\end{array}$	$n$	$2n$
柯西分布	$p(x)=\frac{1}{\pi }\cdot \frac{\lambda }{{\lambda }^2+(x-\mu {)}^2}$	不存在	不存在
$t$分布	$p(x)=\frac{\Gamma \left(\frac{n+1}{2}\right)}{\sqrt{n\pi }\Gamma \left(\frac{n}{2}\right)}{\left(1+\frac{x^2}{n}\right)}^{-\frac{n+1}{2}}$	$0(n>1)$	$\frac{n}{n-2}(n>2)$