概率论与数理统计复习一（伽马函数、正态分布、瑞利分布、线性相关、独立）

各种分布

正态分布

$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$
$$\varphi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$$
$$\Phi (x)=\frac{1}{\sqrt{2\pi }}\underset{-\infty }{\overset{x}{\int }}{e}^{-\frac{t^2}{2}}dt$$
$$\Phi (-x)=1-\Phi (x)$$
$若X_i\sim N({\mu }_i,{\sigma }_i^2),且他们相互独立，则对于Z=X_1+X_2+\cdots +X_n,Z\sim N({\mu }_1+{\mu }_2+\cdots +{\mu }_n,{\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_n^2)$

引理

对于正态分布
$$X\sim N(\mu ,{\sigma }^2)$$
有$$Z=\frac{X-\mu }{\sigma }\sim N(0,1)$$

瑞利分布

瑞利分布（Rayleigh Distribution）:当一个随机二维向量的两个分量呈独立的、均值为0，有着相同的方差的正态分布时，这个向量的模呈瑞利分布。
$$f\left(x\right)=\frac{x}{{\sigma }^2}{e}^{-\frac{x^2}{2{\sigma }^2}},x>0$$

期望与方差

$$E\left(X\right)=\mu \left(X\right)={\int }_{-\infty }^{\infty }xf\left(x\right)dx$$
$$={\int }_0^{\infty }\frac{x^2}{{\sigma }^2}{e}^{-\frac{x^2}{2{\sigma }^2}}dx={\int }_0^{\infty }-xd{e}^{-\frac{x^2}{2{\sigma }^2}},\left(x>0\right)$$
$$=-x{e}^{{}^{-\frac{x^2}{2{\sigma }^2}}}{|}_0^{\infty }+{\int }_0^{\infty }{e}^{{}^{-\frac{x^2}{2{\sigma }^2}}}dx$$
$$=0+\sqrt{2\pi }\sigma {\int }_0^{\infty }\frac{1}{\sqrt{2\pi }\sigma }{e}^{{}^{-\frac{x^2}{2{\sigma }^2}}}dx$$

$$=\sqrt{2\pi }\sigma \times \frac{1}{2}=\sqrt{\frac{\pi }{2}}\sigma \approx 1.253\sigma$$

$$D\left(X\right)=E\left(X^2\right)-{\left[E\left(X\right)\right]}^2$$
$$={\int }_0^{\infty }\frac{x^3}{{\sigma }^2}{e}^{-\frac{x^2}{2{\sigma }^2}}dx-{\left[E\left(X\right)\right]}^2$$
$$={\int }_0^{\infty }-x^{2}d{e}^{-\frac{x^2}{2{\sigma }^2}}-{\left[E\left(X\right)\right]}^2$$
$$=-x^2{e}^{-\frac{x^2}{2{\sigma }^2}}{|}_0^{\infty }+{\int }_0^{\infty }{e}^{-\frac{x^2}{2{\sigma }^2}}d{x}^2-{\left[E\left(X\right)\right]}^2$$
$$=0-2{\sigma }^2{e}^{-\frac{x^2}{2{\sigma }^2}}{|}_0^{\infty }-{\left[E\left(X\right)\right]}^2$$
$$=2{\sigma }^2-{\left(\sqrt{\frac{\pi }{2}}\sigma \right)}^2=\frac{4-\pi }{2}{\sigma }^2\approx 0.429{\sigma }^2$$

泊松分布

期望与方差

$$E(x)=\lambda$$
$$D(x)=\lambda$$
$$已知X\sim \pi (\lambda ),求E\left(\frac{{\lambda }^k{e}^{-\lambda }}{k!}\right)$$
E ( 1 X + 1 ) = ∑ k = 0 ∞ 1 k + 1 P { X = k } E\left(\frac{1}{X+1}\right) = \sum_{k=0}^{\infty}\frac{1}{k+1}P\{X=k\} E(X+11​)=k=0∑∞​k+11​P{X=k}

指数分布

期望与方差

$$E(x)=\theta$$
$$D(x)={\theta }^2$$

指数分布的min、max、和

指数分布概率密度为
$$f_X(x)=\{\begin{array}{lr}\alpha e^{-\alpha x}& ,x>0\\ 0& ,x\le 0\end{array}$$

$$f_Y(y)=\{\begin{array}{lr}\beta e^{-\beta y}& ,y>0\\ 0& ,y\le 0\end{array}$$

指数分布分布函数为
$$F_X(x)=\{\begin{array}{lr}1-e^{-\alpha x}& ,x>0\\ 0& ,x\le 0\end{array}$$

$$F_Y(y)=\{\begin{array}{lr}1-e^{-\beta y}& ,y>0\\ 0& ,y\le 0\end{array}$$

Z = m i n { X , Y } Z = min\{X,Y\} Z=min{X,Y}

$$F_{max}(z)=F_X(z)F_Y(z)$$
对于独立的两个指数分布
$$F_{min}(x)=\{\begin{array}{lr}1-e^{-(\alpha +\beta )}& ,z>0\\ 0& ,z\le 0\end{array}$$

$$f_{min}(x)=\{\begin{array}{lr}(\alpha +\beta )e^{-(\alpha +\beta )}& ,z>0\\ 0& ,z\le 0\end{array}$$

Z = m a x { X , Y } Z = max\{X,Y\} Z=max{X,Y}

$$F_{min}(z)=1-\left[1-F_X(z)\right]\left[1-F_Y(z)\right]$$

$Z=X+Y$

$$f_{X+Y}(z)=\underset{-\infty }{\overset{\infty }{\int }}f(z-y,y)\mathrm{d}y$$
$$f_{X+Y}(z)=\underset{-\infty }{\overset{\infty }{\int }}f(x,z-x)\mathrm{d}x$$
独立时，有卷积公式
$$f_X\ast f_Y=f_{X+Y}(z)=\underset{-\infty }{\overset{\infty }{\int }}{f}_X(z-y)f_Y(y)\mathrm{d}y=\underset{-\infty }{\overset{\infty }{\int }}{f}_X(x)f_Y(z-x)\mathrm{d}x$$
$$f(z)=\{\begin{array}{lr}(\frac{\alpha \beta }{\beta -\alpha })\left(e^{-\alpha z}-e^{-\beta z}\right)& ,z>0\\ 0& ,z\le 0\end{array}$$

$$f(z)=\{\begin{array}{lr}\left(\frac{1}{\frac{1}{\alpha }-\frac{1}{\beta }}\right)\left(e^{-\alpha z}-e^{-\beta z}\right)& ,z>0\\ 0& ,z\le 0\end{array}$$

相关(线性)

$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=0$$
$$E(X,Y)=E(X)E(Y)$$
$$Cov(X,Y)=0$$
$$D(X,Y)=D(x)+D(Y)$$

独立

P { X ≤ x , Y ≤ y } = P { X ≤ x } P { X ≤ x , Y ≤ y } P\{X\leq x,Y\leq y\} = P\{X\leq x\}P\{X\leq x,Y\leq y\} P{X≤x,Y≤y}=P{X≤x}P{X≤x,Y≤y}
$$F(x,y)=F_x(x)F_y(y)$$
$$f(x,y)=f_X(x)f_Y(y)在平面上几乎处处成立$$

伽马函数

伽玛函数（Gamma函数），也叫欧拉第二积分，是阶乘函数在实数与复数上扩展的一类函数。该函数在分析学、概率论、偏微分方程和组合数学中有重要的应用。与之有密切联系的函数是贝塔函数，也叫第一类欧拉积分，可以用来快速计算同伽马函数形式相类似的积分。
$$\Gamma (x)=\underset{0}{\overset{+\infty }{\int }}{t}^{x-1}{e}^{-t}dt(x>0)$$

性质

$$\Gamma (x+1)=x\Gamma (x)$$
$$\Gamma (n)=(n-1)!$$

大数定律及中心极限定理

弱大数定律

$$设X_1,X_2,\cdots 是相互独立的，服从同一分布的，随机变量序列，且E(X_k)=\mu .$$
$$作前n个变量的算数平均\frac{1}{n}\sum _{k=1}^n{X}_k,则对于任意的\epsilon >0,有$$

$$\begin{array}{r}\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu \right|<\epsilon \right\}=1\end{array}$$

伯努利大数定律

$$\begin{array}{r}\underset{n\to \infty }{\lim }P\left\{\left|\sum _{k=1}^n\frac{f_A}{n}-p\right|<\epsilon \right\}=1\end{array}$$

$$\begin{array}{r}\underset{n\to \infty }{\lim }P\left\{\left|\sum _{k=1}^n\frac{f_A}{n}-p\right|\ge \epsilon \right\}=0\end{array}$$

中心极限定理

独立同分布

$$E(X_k)=\mu ,D(X_k)={\sigma }^2>0$$
$$随机变量之和\sum _{k=1}^n{X}_k的标准化变量Y_n=\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$$

抽样分布

$$\frac{1}{\sqrt{2\pi }}\underset{-\infty }{\overset{\infty }{\int }}{t}^2{e}^{-t^2/2}$$

样本方差

$$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-{\overline{X)}}^2=\frac{1}{n-1}\sum _{i=1}^n(X_i^2+{\bar{X}}^2-2X_i\bar{X})$$
$$=\frac{1}{n-1}\left(\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2\right)$$

正态总体样本均值与样本方差的分布

$$E(\bar{X})=\mu$$
$$D(\bar{X})=\frac{1}{n}{\sigma }^2$$
$$E({\bar{X}}^2)=D(\bar{X})+E(\bar{X}{)}^2={\mu }^2+\frac{{\sigma }^2}{n}$$
$$E(S^2)={\sigma }^2$$

${\chi }^2$分布

$${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2$$

1.${\chi }^2$分布的可加性

$${\chi }_1^2+{\chi }_2^2\sim {\chi }^2(n_1+n_2)$$

2.期望与方差

$$E({\chi }^2)=n$$
$$D({\chi }^2)=2n$$
$$Y=(X_1+X_2{)}^2+(X_3+X_4{)}^2$$

$t$分布

$$设X\sim N(0,1),Y\sim {\chi }^2(n),且X,Y相互独立$$
$$t=\frac{X}{\sqrt{Y/n}}服从自由度为n的t分布t\sim t(n)$$

对称性

由对称性可知，上 $\alpha$ 分位数 $t_{1-a}(n)=-t_a(n)$

$F$分布

$设U\sim {\chi }^2(n_1),V\sim {\chi }^2(n_2),且U,V相互独立，则随机变量$
$$F=\frac{U/n_1}{V/n_2}$$
$服从自由度为(n_1,n_2)的F分布,记为F\sim F(n_1,n_2)$

上分位数

$$\frac{1}{F}\sim F(n_2,n_1)$$
$$F_{1-a}(n_1,n_2)=\frac{1}{F_a(n_2,n_1)}$$

三种分布的一些定理

$设X_1,X_2,\cdots X_n是来自正态总体N(\mu ,{\sigma }^2)的样本，\bar{X}是样本均值，则：$
$$\bar{X}\sim (\mu ,\frac{{\sigma }^2}{n})$$

1

$设X_1,X_2,\cdots X_n是来自正态总体N(\mu ,{\sigma }^2)的样本，\bar{X}是样本均值，S^2是样本方差，则：$
$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$
$$\bar{X}与S^2相互独立$$

2

$设X_1,X_2,\cdots X_n是来自正态总体N(\mu ,{\sigma }^2)的样本，\bar{X}是样本均值，S^2是样本方差，则：$
$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$
证明(标准正态分布除以卡方分布配(n-1)即可)：
$$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}/\sqrt{\frac{(n-1)S^2}{(n-1){\sigma }^2}}$$

3

$设X_1,X_2,\cdots ,X_n与Y_1,Y_2,\cdots ,Y_n分别是来自正态总体分布N({\mu }_1,{\sigma }_1^2)和N({\mu }_2,{\sigma }_2^2)的样本，且两个样本相互独立$

1

$$\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

2

$当{\sigma }_1^2={\sigma }_2^2={\sigma }^2时$
$$\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$
$$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$