西电计科院概率论与数理统计期末总结其二

概率论与数理统计期末总结其二

博主是21级计科院的，概率论与数理统计95分，这是期末复习期间整理的笔记（其二），基本全部涵盖期末考试重点范围，有需要的学弟学妹可以作为参考

第二讲 方差

2.1 方差

$$DX=E(X-EX{)}^2\Rightarrow DX=E{X}^2-(EX{)}^2(推论，可以转求E{X}^2)$$
其中 $\sqrt{DX}$ 为随机变量 $X$ 的均方差或标准差；

2.2 性质

$$\begin{gathered} D(C_{1}X+C_2)=C_1^{2}DX \\ D(X\pm Y)=DX+DY\pm 2cov(X,Y) \\ DX=0⟺P(X=EX)=1 \end{gathered}$$
【$Theorem$】
$X_i\sim N({\mu }_i,{\sigma }_i^2)(i=1,2,\cdot \cdot \cdot ,n)$ 相互独立，则
$$\begin{gathered} c_1{X}_1+c_2{X}_2+\cdot \cdot \cdot +c_n{X}_n\sim N(c_1{\mu }_1+c_2{\mu }_2+\cdot \cdot \cdot +c_n{\mu }_n,c_1^2{\sigma }_1^2+c_2^2{\sigma }_2^2+\cdot \cdot \cdot +c_n^2{\sigma }_n^2) \\ (c_1^2+c_2^2+\cdot \cdot \cdot +c_n^2\ne 0) \end{gathered}$$

第三讲 协方差与相关系数

3.1 协方差

$$\begin{gathered} cov(X,Y)=E[(X-EX)(Y-EY)] \\ \Rightarrow cov(X,Y)=E(XY)-EX\cdot EY \end{gathered}$$

3.2 性质

• $cov(X,X)=DX,cov(X,C)=0$
• $cov(X,Y)=cov(Y,X)$
• $cov(a{X}_1+b{X}_2,cY+d)=accov(X_1,Y)+bccov(X_2,Y)$
• $D(X\pm Y)=DX+DY\pm 2cov(X,Y)$

3.3 相关系数

$${\rho }_{XY}=\frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}}(DX>0,DY>0)$$
注解：转向求协方差
【$Theorem$】
$$\begin{gathered} (X,Y)\sim N({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho )\Rightarrow {\rho }_{XY}=\rho \\ \Rightarrow X与Y相互独立⟺不相关 \end{gathered}$$

3.4 $Cauchy-Schwarz$ 不等式

$$[E(XY){]}^2\le E{X}^{2}E{Y}^2,(E{X}^2<+\infty ,E{Y}^2<\infty )$$

3.5 性质

由柯西施瓦茨不等式推得：$|{\rho }_{XY}|\le 1$
$|{\rho }_{XY}|=1⟺\exists a(a\ne 0),b\Rightarrow P(Y=aX+b)=1$

3.6 不相关

$DX>0,DY>0$

• $X,Y$ 不相关 $⟺cov(X,Y)=0$
• $X,Y$ 不相关 $⟺E(XY)=EX\cdot EY$
• $X,Y$ 不相关 $⟺D(X\pm Y)=DX+DY$
• $X,Y$ 不相关 $⟺D(X+Y)=D(X-Y)$

第四讲 $n$ 维正态随机变量

4.1 矩的概念

• $k$ 阶原点矩 ${\mu }_k=E{X}^k,k=1,2,\cdot \cdot \cdot$
• $k$ 阶中心矩 ${\nu }_k=E(X-EX{)}^k,k=1,2,\cdot \cdot \cdot$
• $k+l$ 阶混合原点矩 ${\mu }_{kl}=E(X^k{Y}^l),k,l=1,2,\cdot \cdot \cdot$
• $k+l$ 阶混合中心矩 ${\nu }_{kl}=E[(X-EX{)}^k(Y-EY{)}^l],k,l=1,2,\cdot \cdot \cdot$

4.2 均值向量

$$\begin{gathered} X=(X_1,X_2,\cdot \cdot \cdot ,X_n),{\mu }_i=E{X}_i(i=1,2,\cdot \cdot \cdot ,n) \\ \Rightarrow \mathbf{\mu }=({\mu }_1,{\mu }_2,\cdot \cdot \cdot ,{\mu }_n) \end{gathered}$$

4.3 协方差矩阵

$$\begin{gathered} {\sigma }_{ij}=cov(X_i,X_j)=E[(X_i-E{X}_i)(X_j-E{X}_j)](i,j=1,2,\cdot \cdot \cdot ,n) \\ \mathbf{B}=({\sigma }_{ij}{)}_{n\times n}=\left[\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \cdots & {\sigma }_{1n}\\ {\sigma }_{21}& {\sigma }_{22}& \cdots & {\sigma }_{2n}\\ ⋮& ⋮& \cdots & ⋮\\ {\sigma }_{n1}& {\sigma }_{n2}& \cdots & {\sigma }_{nn}\end{array}\right] \end{gathered}$$

4.4 $n$ 维正态随机变量

$$\begin{gathered} \mathbf{X}=(X_1,X_2,\cdots ,X_n),\mathbf{\mu }=({\mu }_1,{\mu }_2,\cdot \cdot \cdot ,{\mu }_n),\mathbf{B}=({\sigma }_{ij}{)}_{n\times n} \\ 若其联合概率密度f(\mathbf{x})=f(x_1,x_2,\cdots ,x_n)=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\mathbf{B}{|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }){\mathbf{B}}^{-1}(\mathbf{x}-\mathbf{\mu }{)}^T}(i=1,2,\cdots ,n) \\ \Rightarrow \mathbf{X}=(X_1,X_2,\cdots ,X_n)\sim N(\mathbf{\mu },\mathbf{B}) \end{gathered}$$

4.5 性质

• $$\{\begin{array}{l}\mathbf{X}\sim N(\mathbf{\mu },\mathbf{B})\Rightarrow X_i\sim N({\mu }_i,{\sigma }_{ii})(i=1,2,\cdots ,n)\\ X_i\sim N({\mu }_i,{\sigma }_{ii})(i=1,2,\cdots ,n)且相互独立\Rightarrow \mathbf{X}\sim N(\mathbf{\mu },\mathbf{B})\end{array}$$
• $$\mathbf{X}\sim N(\mathbf{\mu },\mathbf{B})⟺\forall c_1,c_2,\cdots ,c_n,满足c_1^2+c_2^2+\cdot \cdot \cdot +c_n^2\ne 0，有c_1{X}_1+c_2{X}_2+\cdots +c_n{X}_n\sim N(\mu ,\sigma )$$
• $\mathbf{X}\sim N(\mathbf{\mu },\mathbf{B}),(Y_1,Y_2,\cdots ,Y_k)满足Y_i={\mathbf{\alpha }}^T\mathbf{X}(i=1,2,\cdots ,k),则\mathbf{Y}=(Y_1,Y_2,\cdots ,Y_k)\sim N(\mu ,\sigma )$
• $\mathbf{X}=(X_1,X_2,\cdots ,X_n)\sim N(\mathbf{\mu },\mathbf{B})\Rightarrow {\mathbf{X}}^{\prime }=(X_1,X_2,\cdots ,X_m)\sim N({\mathbf{\mu }}^{\prime },{\mathbf{B}}^{\prime })(m<n)$

第五章 大数定理及中心极限定理

第一讲 切比雪夫不等式

$$\{\begin{array}{c}P(|X-EX|\ge \epsilon )\le \frac{DX}{{\epsilon }^2}\\ P(|X-EX|<\epsilon )\ge 1-\frac{DX}{{\epsilon }^2}\end{array}$$

第二讲 大数定律

随机变量序列的前若干项的算术平均值在某种条件下收敛到这些项的均值的算术平均值

| ${\lim }_{n\to \infty }P(|\frac{1}{n}{\sum }_{i=1}^n{X}_i-a_n|\ge \epsilon )=0$ | 随机变量前 $n$ 项均值依概率收敛于某一定值 |
|:----😐:----😐
|${\lim }_{n\to \infty }P(|X_n-X|\ge \epsilon )=0即X_n{\to }^{P}X(n\to \infty )$|随机变量依概率收敛于另一随机变量|

【大数定理】

大数定理	条件	定律形式
切比雪夫大数定律	$X_i相互独立,E{X}_i=\mu =C_1,D{X}_i={\sigma }^2=C_2$	$\begin{array}{c}lim_{n\rightarrow \infty}P(
切比雪夫大数定律一般形式	$X_i相互独立,E{X}_i=\mu =C_1,D{X}_i\le C$	$\begin{array}{c}lim_{n\rightarrow \infty}P(
马尔可夫大数定理	${\lim }_{n\to \infty }\frac{1}{n^2}D[{\sum }_{i=1}^n{X}_i]=0$	$\begin{array}{c}\lim_{n\rightarrow \infty}P(
辛钦大数定理	$X_i相互独立同分布,E{X}_i=\mu =C<\infty$	$\begin{array}{c}\lim_{n\rightarrow \infty}P(
伯努利大数定理	$f_A=\frac{n_A}{n},P(A)=p$	$\begin{array}{c}lim_{n\rightarrow \infty}P(

第三讲 中心极限定理

3.1 独立同分布中心极限定理

$$\begin{gathered} 【适用条件】X_i相互独立且同分布\Rightarrow E{X}_i=\mu ,D{X}_i={\sigma }^2(i=1,2,\cdots ) \\ 令随机变量Y_n=\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }，其分布函数F_n(x) \\ \underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P(\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\le x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\Phi (x) \\ ⟹Y_i=\sum _{i=1}^n{X}_i\sim N(n\mu ,n{\sigma }^2)(n\to \infty ) \\ ⟹\{\begin{array}{c}P({\sum }_{i=1}^n{X}_i\le x)\approx \Phi (\frac{x-n\mu }{\sqrt{n}\sigma })\\ P(a<{\sum }_{i=1}^n{X}_i\le b)\approx \Phi (\frac{b-n\mu }{\sqrt{n}\sigma })-\Phi (\frac{a-n\mu }{\sqrt{n}\sigma })\end{array} \end{gathered}$$

3.2 李雅普诺夫中心极限定理

$$\begin{gathered} 【适用条件】X_i相互独立且E{X}_i={\mu }_i,D{X}_i={\sigma }_i^2(i=1,2,\cdots ) \\ 令随机变量Y_n=\frac{{\sum }_{i=1}^n{X}_i-E[{\sum }_{i=1}^n{X}_i]}{\sqrt{D[{\sum }_{i=1}^n{X}_i]}}=\frac{{\sum }_{i=1}^n{X}_i-{\sum }_{i=1}^n{\mu }_i}{\sqrt{{\sum }_{i=1}^n{\sigma }_i^2}}，其分布函数F_n(x) \\ \underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P(\frac{{\sum }_{i=1}^n{X}_i-{\sum }_{i=1}^n{\mu }_i}{\sqrt{{\sum }_{i=1}^n{\sigma }_i^2}}\le x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\Phi (x) \\ ⟹Y_i=\sum _{i=1}^n{X}_i\sim N(\sum _{i=1}^n{\mu }_i,\sum _{i=1}^n{\sigma }_i^2)(n\to \infty ) \\ ⟹\{\begin{array}{c}P({\sum }_{i=1}^n{X}_i\le x)\approx \Phi (\frac{x-{\sum }_{i=1}^n{\mu }_i}{\sqrt{{\sum }_{i=1}^n{\sigma }_i^2}})\\ P(a<{\sum }_{i=1}^n{X}_i\le b)\approx \Phi (\frac{b-{\sum }_{i=1}^n{\mu }_i}{\sqrt{{\sum }_{i=1}^n{\sigma }_i^2}})-\Phi (\frac{a-{\sum }_{i=1}^n{\mu }_i}{\sqrt{{\sum }_{i=1}^n{\sigma }_i^2}})\end{array} \end{gathered}$$

注重两个中心极限定理的区别与联系

3.3 $DeMoivre-Laplace$ 中心极限定理

$$\begin{gathered} 【n重伯努利试验】f_A=\frac{n_A}{n},P(A)=p \\ 令随机变量Y_n=\frac{n_A-np}{\sqrt{np(1-p)}}，其分布函数F_n(x) \\ \underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P(\frac{n_A-np}{\sqrt{np(1-p)}}\le x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\Phi (x) \\ ⟹X\sim N(np,np(1-p))(n\to \infty ) \\ ⟹\{\begin{array}{c}P(X\le x)\approx \Phi (\frac{x-np}{\sqrt{np(1-p)}})\\ P(a<X\le b)\approx \Phi (\frac{b-np}{\sqrt{np(1-p)}})-\Phi (\frac{a-np}{\sqrt{np(1-p)}})\end{array} \end{gathered}$$