第五章 正态分布（概率论）

第五章 正态分布

5.1 正态分布 Normal Distribution

• 标准正态分布：$X\sim N(0,1)$ 称为 $X$ 服从标准正态分布
  

  • 密度函数：
    $$\varphi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}},-\infty <x<+\infty$$
  • 分布函数：
    $$\Phi (x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt$$
    $验证$：$\Phi (+\infty )=1$
    证明：
    $$\begin{array}{rl}& {\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}dx\cdot {\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{y^2}{2}}dy\\ =& \underset{R^2}{\iint }\frac{1}{2\pi }{e}^{-\frac{1}{2}(x^2+y^2)}dxdy\\ =& {\int }_0^{2\pi }d\theta {\int }_0^{\infty }\frac{1}{2\pi }{e}^{-\frac{1}{2}{r}^2}rdr\\ =& 1\end{array}$$
  • 性质：偶函数 $\Phi (-x)=1-\Phi (x)$
    • $\Phi (0)=\frac{1}{2},\Phi (1.96)=0.975$，故 $\Phi (1.96)-\Phi (-1.96)=0.95$ 为大概率事件

• 一般正态分布：若 $X$ 满足 $\frac{X-\mu }{\sigma }\sim N(0,1)$，其中 $\mu ,\sigma >0$ 是任意常数，则称 $X$ 服从参数为 $\mu ,{\sigma }^2$ 的正态分布，$X\sim N(\mu ,{\sigma }^2)$

  • 密度函数：$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty$
  • 分布函数：$F(x)=\Phi (\frac{x-\mu }{\sigma })$
  • $P(a<x\le b)=\Phi (\frac{b-\mu }{\sigma })-\Phi (\frac{a-\mu }{\sigma })$
  • 图形性质：
    1. 位置参数 $\mu$：关于直线 $x=\mu$ 对称， max ⁡ { f ( x ) } = f ( μ ) = 1 2 π σ 2 \max\{f(x)\}=f(\mu)=\dfrac{1}{\sqrt{2\pi}\sigma^2} max{f(x)}=f(μ)=2π ​σ21​
    2. 刻度参数 $\sigma$：当 $\sigma$ 越小时，$f(x)$ 图形越陡

5.2 正态分布的数字特征与线性性质

• 数字特征：

  • 标准正态分布：若 $X\sim N(0,1)$，则 $E(X)=0,D(X)=1$

    证明：由于 $\Gamma (\frac{1}{2})=\sqrt{\pi }$
    $$\begin{array}{rl}E(X)& ={\int }_{-\infty }^{+\infty }x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}dx=0\\ D(X)& =E(Y^2)-0^2={\int }_{-\infty }^{+\infty }{x}^2\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}dx-0\\ & =\frac{2}{\sqrt{2\pi }}{\int }_0^{+\infty }{x}^2{e}^{-\frac{x^2}{2}}dx\\ 令t=\frac{x^2}{2},则& =\frac{2}{\sqrt{2\pi }}{\int }_0^{+\infty }2t{e}^{-t}\frac{\sqrt{2}}{2}{t}^{-\frac{1}{2}}dt\\ & =\frac{2}{\sqrt{\pi }}\Gamma (\frac{3}{2})\\ & =1\end{array}$$

  • 一般正态分布：若 $Y\sim N(\mu ,{\sigma }^2)$，则 $E(Y)=\mu ,D(Y)={\sigma }^2$

    证明：由于 $Y=\frac{X-\mu }{\sigma }⟹X=\sigma Y+\mu$，从而 $\{\begin{array}{l}E(X)=\sigma E(Y)+\mu =\mu \\ D(X)={\sigma }^{2}D(Y)={\sigma }^2\end{array}$

• 线性性质：

  • 若 $X\sim N(\mu ,{\sigma }^2)$，当 $b\ne 0$ 时，有 $Y=a+bX\sim N(a+b\mu ,b^2{\sigma }^2)$

  • 正态分布可加性：

    • 两变量：$X,Y$ 相互独立，$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$，则 $Z=X+Y\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$

    • 一般形式：$X_i$ 之间相互独立，$X_i\sim N({\mu }_i,{\sigma }_i^2),C_i$ 为常数，$i=1,2,...,n$，则 $Z=\sum _{i=1}^n{C}_i{X}_i\sim N\left(\sum _{i=1}^n{C}_i{\mu }_i,\sum _{i=1}^n{C}_i^2{\sigma }_i^2\right)$。

      特殊地，$Z=\frac{1}{n}\sum _{i=1}^n{X}_i\sim N\left({\mu }_i,\frac{{\sigma }_i^2}{n}\right)$，当 $n\to \infty$，$D(Z)=\frac{{\sigma }^2}{n}\to 0$，表明样本量增加，样本趋于稳定（信息熵）。

  • $3\sigma$ 原则：$F(3)-F(-3)=99.73\%，F(2)-F(-2)=95.46\%$

5.3 二维正态分布

研究高维数据，其实是研究协方差矩阵（实对称矩阵）高维正态分布&矩阵向量

• 二维正态分布：当 $f(x,y)=\frac{\exp \left\{-\frac{t_1^2-2r{t}_1{t}_2+t_2^2}{2(1-r^2)}\right\}}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-r^2}},(x,y)\in R^2$，其中 $t_1=\frac{x-{\mu }_1}{{\sigma }_1},t_2=\frac{y-{\mu }_2}{{\sigma }_2}$ 时，记为 $(X,Y)\sim N({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;r)$，其中 $r$ 表示相关系数。
  • 性质：
    1. 边缘分布是正态：$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$
    2. 条件分布是正态：$Y|X=x\sim N({\mu }_2+r\frac{{\sigma }_2}{{\sigma }_1}(x-{\mu }_1),{\sigma }_2^2(1-r^2))$
    3. 若 $(X,Y)\sim N({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;r)$，则 $X,Y$ 相互独立 $⟺r=0$ （不相关——没有交叉项，二次型可拆开）