东北大学应用数理统计第一章知识点总结——抽样分布

抽样分布

一、概率论基础

1.1 相关基础

1. 随机事件：可能发生、也可能不发生的事件
2. 事件的关系：包含、不相容、独立
   （1）不相容（互斥）：P(AB)=0
   （2）独立：P(AB)=P(A)*P(B)
3. 事件的运算：和事件、交事件、差事件、对立事件

1.2 概率及基础运算

1. 概率P(A)：随机事件在一次试验中发生的可能性
2. 条件概率 P(B|A)：$$P(B|A)=\frac{P(AB)}{P(A)}$$
3. 概率计算中的常用公式：加法公式、减法公式、乘法公式、全概率公式、Bayes公式
   （1）全概率公式：$$P(A)=\sum _{i=1}^{n}P(A|B_i)\ast P(B_i)$$
   （2）Bayes公式：$$P(B|A)=\frac{P(B)\ast P(A|B)}{P(A)}$$

1.3 密度函数与分布函数

1. 分类：离散型随机变量、连续性随机变量
   （1）离散型随机变量：两点分布、二项分布、泊松分布
   （2）连续性随机变量：均匀分布、指数分布、正态分布
2. 密度函数
   （1）两点分布：n=1时的二项分布
   （2）二项分布：X~B(n,p)
   $$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$$
   （3）泊松分布：P($\lambda$)
   $$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$$
   （4）均匀分布：X~U($\alpha$,$\beta$)
   $$f(x)=\{\begin{array}{ll}\frac{1}{\beta -\alpha },& \alpha <x<\beta \\ 0,& 其他\end{array}$$
   （5）指数分布：E($\lambda$)
   $$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x},& x\ge 0\\ 0,& x<0\end{array}$$
   （6）正态分布：Z~N($\mu$,${\sigma }^2$)
   $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty$$
3. 分布函数
   $$F(x)={\int }_{-\infty }^{x}f(y)dy$$

1.4 Gamma分布 $\Gamma (\alpha ,\lambda )$

1. 公式
   $$p(x)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x},x>0,\alpha >0,\lambda >0$$
   $$\Gamma (\alpha )={\int }_0^{+\infty }{x}^{\alpha -1}{e}^{-x}dx$$
2. 特殊情况

• 参数$\lambda$的指数分布就是$\Gamma (1,\lambda )$
• 自由度n的卡方分布${\chi }^2(n)$就是$\Gamma (\frac{n}{2},\frac{1}{2})$
• Gamma分布$\Gamma (\alpha ,\lambda )$对于$\alpha$具有可加性；而且如果X~$\Gamma (\alpha ,\lambda )$,则cX—$\Gamma (\alpha ,\lambda /c)$

1.5 随机向量

1. 联合分布函数、联合分布律、联合密度
2. 从联合分布到边缘分布
3. 随机变量的独立性（两个离散随机变量的独立性）
4. 二维正态与多元正态分布
5. 条件分布：条件概率的推广
6. 独立同分布随机变量的和（正态分布的可加性、二项分布的可加性、卡方分布的可加性）

1.6 数字特征

1. 数学期望：随机变量取值的加权平均
   $$EX={\int }_{-\infty }^{+\infty }xf(x)dx$$

• 二项分布：$EX=np,DX=np(1-p)$
• 泊松分布：$EX=DX=\lambda$
• 均匀分布：$EX=\frac{\alpha +\beta }{2},DX=\frac{(\beta -\alpha {)}^2}{12}$
• 指数分布：$EX=\frac{1}{\lambda },DX=\frac{1}{{\lambda }^2}$
• 正态分布：$EX=\mu ,DX={\sigma }^2$

2. 方差：随机变量在期望附近取值的分散程度
   $$DX=E((X-EX{)}^2)=E(X^2)-(EX{)}^2$$
3. 切比雪夫不等式
   $$P(|X-EX|\ge \epsilon )\le \frac{DX}{{\epsilon }^2}$$
   $$P(|X-EX|\le \epsilon )\ge 1-\frac{DX}{{\epsilon }^2}$$
4. 协方差：刻化两个随机变量之间的相依关系
   $$Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EXEY$$
5. 相关系数：刻化两个随机变量之间线性关系的程度
   $${\rho }_{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
6. 随机向量的数字特征（期望向量、协方差矩阵）
   
7. 条件数学期望
   （1）离散随机变量的条件期望
   $$E(Y|X=x_i)=\sum _{j=1}{y}_j\times p(Y=y_j|X=x_i)$$
   （2）连续随机变量的条件期望
   $$E(Y|X=x)={\int }_{-\infty }^{+\infty }y\times p(y|x)dy$$
8. 特征函数：$f(t)=E{e}^{itX},t\in R^1$
   （1）二项分布：$f(t)=(q+p{e}^{it}{)}^n$
   （2）泊松分布：$f(t)=e^{\lambda (e^{it}-1)}$
   （3）均匀分布：$f(t)=\frac{e^{itb}-e^{ita}}{it(b-a)}$
   （4）Gamma分布：$f(t)=(1-\frac{it}{\lambda }{)}^{-\alpha }$
   （5）正态分布：$f(t)=e^{i\mu t-\frac{1}{2}{\sigma }^2{t}^2}$

1.7 大数定律与中心极限定理

1. 伯努利大数定律
   lim ⁡ n → ∞ P { ∣ n A n − p ∣ < ε } = 1 ⇒ n A n → p \lim_{n \to \infty} P\{ |\frac {n_A}{n} -p| < \varepsilon \} = 1 \Rightarrow \frac{n_A}{n} \to p n→∞lim​P{∣nnA​​−p∣<ε}=1⇒nnA​​→p
2. 中心极限定理
   （1）二项分布
   lim ⁡ n → ∞ P { X n − n p n p q ≤ x } = 1 2 π ∫ − ∞ x e − x 2 2 d x \lim_{n \to \infty}P{\{\frac{X_n-np}{\sqrt{npq}} \leq x\}} = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{- \frac{x^2}{2}}dx n→∞lim​P{npq ​Xn​−np​≤x}=2π ​1​∫−∞x​e−2x2​dx
   （2）同分布：$E(X_n)=\mu ,D(X_n)={\sigma }^2\ne 0$
   $$Y_n=\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }——N(0,1)$$

二、统计量及分布

1.1 定义与种类

1. 定义：自变量为来自总体X的一组样本，的一个完全已知的函数
2. 注意：统计量自身带有总体中未知参数的信息，但统计量的表达式中不能出现任何未知的参数。
3. 种类：充分统计量，完备统计量
   （1）充分统计量：没有损失样本所包含的总体未知参数的任何信息
   （2）完备统计量：假定T是一个统计量，如果对于任意函数$\phi (\cdot )$，只要 E θ { φ ( T ) = 0 } = 1 E_\theta \{\varphi(T) = 0\}=1 Eθ​{φ(T)=0}=1，对所有的参数$\theta$都成立，则统计量T就称为是一个完备统计量。

1.2 概率函数

1. 公式
   $$f(x,\theta )=\prod _{k=1}^{n}p(x_k,\theta )$$

• 离散总体时，样本的联合分布率
• 连续总体时，样本的联合密度函数

2. 指数型分布族
   （1）定义：如果总体X密度（或分布律）$p(x,\theta )$可表示成：则称X的分布是一个指数型分布族。
   p ( x , θ ) = C ( θ ) h ( x ) e x p { ∑ i = 1 k b i ( θ ) T i ( x ) } p(x,\theta)=C(\theta)h(x)exp\{ \sum_{i=1}^k b_i(\theta) T_i(x) \} p(x,θ)=C(θ)h(x)exp{i=1∑k​bi​(θ)Ti​(x)}
   （2）性质

• 常见的二项分布、泊松分布、指数分布、正态分布等都属于指数型分布族。
• 如果X的总体是指数型分布族，则$(\sum T_1(X_i),...,\sum T_k(X_i))$是充分完备统计量。

3. 特殊分布的统计量
   （1）总体X~泊松分布$P(\lambda )$，因此参数$\lambda$的完备统计量是${\sum }_{k=1}^n{X}_k$或者$\overline{X}$
   （2）总体X~正态分布$N(\mu ,{\sigma }^2)$，因此参数$(\mu ,{\sigma }^2)$的完备统计量是$(\overline{X},\frac{1}{n-1}{\sum }_{k=1}^n(X_k-\overline{X}{)}^2)$
   （3）总体X~均匀分布$U(0,\theta )$，它并不是一个指数分布族，但是也可以证明参数$\theta$的完备统计量仍然就是它的充分统计量$X_{(n)}$

1.3 常用统计量

1. 平均：样本均值、中位数、众数
   $$\overline{X}=\frac{1}{n}\sum _{k=1}^n{X}_k$$
2. 变差：样本方差（或标准差）、极差
   $$S^2=\frac{1}{n-1}\sum _{k=1}^n(X_k-\overline{X}{)}^2$$
   $$Range=X_{(n)}-X_{(1)}$$
3. 特殊：顺序统计量（从小到大）

1.4 统计量的三大分布

1. 卡方分布 ${\chi }^2(n)$
   （1）构造：$K^2=X_1^2+X_2^2+...+X_n^2$
   （2）注意事项： $X_1,X_2,...,X_n$独立同分布于 $N(0,1)$
   （3）数字特征： $E(X)=n,D(X)=2n$
   （4）性质：可加性（${\chi }^2(n_1)+{\chi }^2(n_2)$ ~ ${\chi }^2(n_1+n_2)$）
   （5）上侧分位点： c = χ α 2 ( n ) : P { X > c } = α c = \chi_\alpha^2(n):P\{X>c\}=\alpha c=χα2​(n):P{X>c}=α
2. t 分布 $t(n)$
   （1）构造：$X$ ~ $N(0,1),Y$ ~ ${\chi }^2(n),T=\frac{X}{\sqrt{Y/n}}$
   （2）注意事项： $X、Y$独立
   （3）数字特征： $E(X)=0(n\ge 2),D(X)=\frac{n}{n-2}(n\ge 3)$
   （4）性质： $n\to \infty$时，t(n)的极限分布是标准正态
   （5）双侧分位点： c = t α / 2 ( n ) : P { ∣ X ∣ > c } = α c = t_{\alpha/2}(n):P\{|X|>c\}=\alpha c=tα/2​(n):P{∣X∣>c}=α
3. F分布 $F(m,n)$
   （1）构造： $X$ ~ ${\chi }^2(m),Y$ ~ ${\chi }^2(n),F=\frac{X/m}{Y/n}$
   （2）注意事项： X、Y独立
   （3）数字特征： $E(X)=\frac{n}{n-2}$
   （4）性质： 如果$T-t(n)$，则有$T^2$ ~ $F(1,n)$
   （5）上侧分位点： c = F α / 2 ( m , n ) : P { X > c } = α c = F_{\alpha/2}(m, n):P\{X>c\}=\alpha c=Fα/2​(m,n):P{X>c}=α
   $$F_{1-\alpha }(m,n)=\frac{1}{F_{(\alpha )}(n,m)}$$

1.5 正态总体的抽样分布

1. 基本定理

• $\frac{\sqrt{n}(\overline{X}-\mu )}{\sigma }$ ~ $N(0,1)$
• $\frac{(n-1)S^2}{{\sigma }^2}$ ~ ${\chi }^2(n-1)$
• $\overline{X}$ 与 $S^2$独立
• $\frac{\sqrt{n}(\overline{X}-\mu )}{S}$ ~ $t(n-1)$
• $\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}$ ~ $F(n_1-1,n_2-1)$（X,Y分别来自两个独立的正态总体）
• 如果假定${\sigma }_1^2={\sigma }_2^2$，定义：
  $$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$
  则有
  $$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_1)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}-t(n_1+n_2-2)$$

2. 多元正态分布的基本性质

• N ( μ , ∑ ) : f ( x ) = 1 ( 2 π ) n / 2 d e t ∑ e x p { − 1 2 ( x − μ ) T ∑ − 1 ( x − μ ) } N(\mu,\sum):f(x)=\frac{1}{(2\pi)^{n/2}\sqrt{det \sum }}exp\{-\frac{1}{2}(x-\mu)^T\sum^{-1}(x-\mu)\} N(μ,∑):f(x)=(2π)n/2det∑ ​1​exp{−21​(x−μ)T∑−1(x−μ)}
• X服从n维正态的充分必要条件是：对任意n维列向量$l$，有$l^{T}X$~$N(l^T\mu ,l^T\sum l)$
• 如果$X$ ~ $N(\mu ,\sum )$, $A$ 是任意 $m\times n$矩阵$(m\le n)$，则有$AX$ ~ $N(A\mu ,A\sum A^T)$

三、常考题型及解题思路

1. 证明变量独立

• $\eta =\left(\genfrac{}{}{0ex}{}{{\eta }_1}{{\eta }_2}\right)=\left(\genfrac{}{}{0ex}{}{{\xi }_1+{\xi }_2}{{\xi }_1-{\xi }_2}\right)=\left(\begin{array}{cc}1& 1\\ 1& -1\end{array}\right)\left(\genfrac{}{}{0ex}{}{{\xi }_1}{{\xi }_2}\right)$ ~ $N(\mu ,\sum )$

2. 标准正态分布相关期望方差

• $E|Z|=\sqrt{\frac{2}{\pi }}$
• $D|Z|=1-\frac{2}{\pi }$

3. 证明某统计量服从${\chi }^2,t,F$分布：根据定义构造相应形式
4. 求方差、协方差阵：用上述公式计算
5. 求多元正态联合分布：用公式（矩阵运算）求公式、方差
6. 求相关概率

• 切比雪夫不等式
• 中心极限定理构造标准正态分布

7. 求指定统计量的分布函数

• 根据分布函数定义计算即可

8. 协方差矩阵相关运算
   $$Var(\delta )=Var(A\eta )=AVar(\eta )A^{{}^{\prime }}$$

PDF版本下载