概率论与数理统计

概率知识点

第一章 和事件相关

概率公式

条件概率公式：$P(B|A)=\frac{P(AB)}{P(A)}$

概率的减法：$P(A-B)=P(A\overline{B})=P(A)-P(AB)$

$\overline{A}\overline{B}\ne \overline{AB}$：
$P(\overline{A}\overline{B})=P(\overline{A\cup B})=1-P(A\cup B)=1-[P(A)+P(B)-P(AB)]$

伯努利实验

需要成功 $k$ 次，一共做了 $n$ 次（$n>k$）才达标的概率
$$C_{n-1}^{k-1}{p}^{k-1}(1-p{)}^{n-k}p$$

第二章 常见一维分布及其数字特征

离散型

二项分布

$X\sim B(n,p)$

$EX=np$

$DX=np(1-p)$

泊松分布

$X\sim P(\lambda )$

P { X = k } = λ k k ! e − λ P\{X = k\} = \frac{\lambda^k}{k!} e^{-\lambda} P{X=k}=k!λk​e−λ

$EX=\lambda$

$DX=\lambda$

几何分布

几何分布的意义：第 $k$ 次是事件第一次发生

P { x = k } = ( 1 − p ) k − 1 p P\{x = k\} = (1-p)^{k-1} p P{x=k}=(1−p)k−1p

$EX=\frac{1}{p}$

$DX=\frac{1-p}{p^2}$

连续型

均匀分布

$X\sim U(a,b)$

$f(x)=\frac{1}{b-a}$

$F(X)=\frac{d-c}{b-a}$，其中 $a<c<d<b$

$EX=\frac{b+a}{2}$

$DX=\frac{(b-a{)}^2}{12}$

指数分布

$X\sim E(\lambda )$

$f(x)=\lambda e^{-\lambda x}$

$F(x)=1-e^{\lambda x}$

$EX=\frac{1}{\lambda }$

$DX=\frac{1}{{\lambda }^2}$

正态分布

$X\sim N(\mu ,{\sigma }^2)$

$f(x)=\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{{(x-\mu )}^2}{2{\delta }^2}}$

$F(x)={\int }_{D}f(x)dx$

$EX=\mu$

$DX={\sigma }^2$

二维随机变量

二维均匀分布

$X,Y$ 服从 $G$ 上的均匀分布
$$f(x,y)=\{\begin{array}{l}\frac{1}{S_G}(x,y)\in G\\ \\ 0\text{others}\end{array}$$

二维正态分布

$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$

其中 $\rho \in [-1,1]$

特别的，$\rho =0⟺X,Y$ 相互独立

第三章 求分布函数

$\Gamma$ 函数

$\Gamma$ 函数基本形式如下
$$\Gamma (\alpha )={\int }_0^{+\infty }{x}^{\alpha -1}{e}^{-x}dx$$
使用如下四条定理计算

1. $\Gamma (\alpha +1)=\alpha \Gamma (\alpha )$

2. $\Gamma (1)=1$

3. $\Gamma (\frac{1}{2})=\sqrt{\pi }$

4. 当 $\alpha \in N^{+}$

   $P(\alpha +1)=\alpha !$

泊松积分

$$I={\int }_0^{+\infty }{e}^{-x^2}dx=\sqrt{\pi }$$

第四章 数字特征

期望 $EX$

定义式

连续型随机变量期望的定义式
$$E[g(x)]={\int }_{G}g(x)f(x)dx$$

期望可线性累加

若 $X,Y$ 相互独立

$E(aX+bY)=aEX+bEY$

方差 $DX$

定义式

$DX=E(X^2)-(EX{)}^2$

方差的累加

若 $X,Y$ 相互独立

$D(aX+bY)=a^{2}DX+b^{2}DY$

协方差

协方差定义式

$Cov(X,Y)=EXY-EXEY$

方差与协方差

$D(aX\pm bY)=a^{2}DX+b^{2}DY-2abCov(X,Y)$

协方差的加减运算

$Cov(X_1\pm X_2,Y)=Cov(X_1,Y)\pm Cov(X_2,Y)$

协方差的常用性质

1. $Cov(X,X)=DX$
2. $Cov(Y,X)=Cov(X,Y)$
3. $Cov(X,C)=0$
4. $\mathrm{C}\mathrm{o}\mathrm{v}(aX,bY)=ab\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)$

相关系数

定义式

$${\rho }_{xy}=\frac{\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

相关系数的性质

1. ${\rho }_{XY}$ 的取值范围：${\rho }_{XY}\in [-1,1]$

2. ${\rho }_{XY}=0⟺$ $X,Y$ 不相关

3. ∣ ρ X Y ∣ = 1    ⟺    P { Y = a X + b } |\rho_{XY}| = 1 \iff P\{Y = aX+b\} ∣ρXY​∣=1⟺P{Y=aX+b}

   ${\rho }_{XY}=\{\begin{array}{l}1,a>0\\ -1a<0\end{array}$

   即所谓正（线性）相关和负（线性）相关

第五章 大数定律

切比雪夫不等式

基本形式

P { ∣ X − μ ∣ ≥ ϵ } ≤ σ 2 ϵ 2 P\{|X - \mu|\geq \epsilon\} \leq \frac{\sigma^2}{\epsilon ^2} P{∣X−μ∣≥ϵ}≤ϵ2σ2​

其中 $\mu$ 可用 $EX$ 代替，${\sigma }^2$ 可用 $DX$ 代替

变形

P { ∣ X − E X ∣ < ϵ } ≥ 1 − D X ϵ 2 P\{|X - EX| < \epsilon \} \geq 1-\frac {DX}{\epsilon ^2} P{∣X−EX∣<ϵ}≥1−ϵ2DX​

大数定律

在样本数量 $n\to \infty$ 的前提下，样本算术平均 $\frac{1}{n}\sum _{i=1}^n{X}_i$ 近似（收敛）于期望 $EX$，样本方差 $\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2$ 近似于方差 $DX$

中心极限定理

大量随机变量之和，近似的服从正态分布

大量： $n\ge 30$

即数量超过 $30$ 的样本，可以看作其符合正态分布

第六章 数理统计的概念——使用样本而非总体

样本的估计值：方差和期望

$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$

$E\overline{X}=E(\frac{X_1+X_2+\dots +x_n}{n})=\mu$

$D\overline{X}=D(\frac{X_1+X_2+\dots +X_n}{n})=\frac{{\sigma }^2}{n}$

$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$

$E{S}^2={\sigma }^2$

$D{S}^2=\frac{2{\sigma }^4}{n-1}$

样本的三种常见分布

分布	特点	自由度	特性
${\chi }^2(n)$	样本平方 $+\dots +$ 样本平方	平方的个数	$$\begin{gathered} E[{\chi }^2(n)]=n \\ D[{\chi }^2(n)]=2n \end{gathered}$$
$t(n)=\frac{X}{\sqrt{\frac{Y}{n}}}$	$\frac{\text{标准正态}}{\sqrt{(\text{卡方})}/n}$	\sqrt{\ }   ​ 内平方数	对称性
$F(m,n)=\frac{\frac{X}{n}}{\frac{Y}{m}}$	$\frac{\text{卡方}}{\text{卡方}}$	$$\begin{gathered} m=分子平方数 \\ n=分子平方数 \end{gathered}$$	$\frac{1}{F(m,n)}=F(n,m)$

卡方分布 ${\chi }^2$

1. 独立

2. 标准化

3. 自由度为 $n$

   $n$ 个样本平方相加（$X_1^2+X_2^2+\dots +X_n^2$），即为 ${\chi }^2(n)$

${\chi }^2(n)$ 的数字特征

$X\sim {\chi }^2(n)$，则 $E({\chi }^2)=n,D({\chi }^2)=2n$

${\chi }^2$ 分布的可加性

${\chi }_1^2\sim {\chi }^2(n_1),{\chi }_2^2\sim {\chi }^2(n_2)$

则 ${\chi }_1^2+{\chi }_2^2\sim {\chi }^2(n_1+n_2)$

$t$ 分布

分子：$X\sim N(0,1)$，一个标准正态

分母：$Y\sim {\chi }^2(n)$，自由度为 $n$ 的卡方分布

$T=\frac{X}{\sqrt{\frac{Y}{n}}}$

$F$ 分布

$X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$，即分子分别是两个 $\chi^2 $ 分布

$F=\frac{X/n_1}{Y/n_2}$，记作 $F(n_1,n_2)$

$n_1,n_2$ 是第一、第二自由度

与 $t$ 分布的关系

$T^2=\frac{{\chi }^2(1)/1}{{\chi }^2(n)/n}\sim F(1,n)$

$\frac{1}{F}=F(n_2,n_1)$

$F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }(n_1.n_2)}$

有关正态的常用分布

凑正态

$\frac{\overline{X}-\mu }{\frac{\sigma }{\sqrt{n}}}\sim N(0,1)$

第七章 参数估计与假设检验

矩估计

求 $EX$ (一个关于 $X$ 和 $\theta$ 的函数)，又有 $\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$

求得 $\theta = $

最大似然估计

似然函数

离散型随机变量的似然函数

L ( θ ) = ∏ i = 1 n P { X i = X i } L(\theta ) = \prod\limits_{i = 1}^nP\{X_i = X_i\} L(θ)=i=1∏n​P{Xi​=Xi​}

连续型随机变量的似然函数

$$L(\theta )=\prod _{i=1}^{n}f(X_i,\theta )$$

计算似然函数

三个步骤计算似然函数

1. 写出似然函数 $L(\theta )$

2. 似然函数取对数 $\ln (L(\theta ))$

3. 找驻点，令 $\frac{d\ln [L(\theta )]}{d\theta }=0$

   若没有驻点（即 $L(\theta )$ 单调）

   若 $L(\theta )$ 单调增，则取 θ ^ = min ⁡ { X 1 , … , X n } \hat \theta = \min\{X_1,…,X_n\} θ^=min{X1​,…,Xn​}

   若 $L(\theta )$ 单调减，则取 θ ^ = max ⁡ { X 1 , … , X n } \hat \theta = \max \{X_1,…,X_n\} θ^=max{X1​,…,Xn​}