抽样分布
一、概率论基础
1.1 相关基础
- 随机事件:可能发生、也可能不发生的事件
- 事件的关系:包含、不相容、独立
(1)不相容(互斥):P(AB)=0
(2)独立:P(AB)=P(A)*P(B) - 事件的运算:和事件、交事件、差事件、对立事件
1.2 概率及基础运算
- 概率P(A):随机事件在一次试验中发生的可能性
- 条件概率 P(B|A): P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)
- 概率计算中的常用公式:加法公式、减法公式、乘法公式、全概率公式、Bayes公式
(1)全概率公式: P ( A ) = ∑ i = 1 n P ( A ∣ B i ) ∗ P ( B i ) P(A)=\sum\limits_{i = 1}^n {{P(A|B_i)*P(B_i)}} P(A)=i=1∑nP(A∣Bi)∗P(Bi)
(2)Bayes公式: P ( B ∣ A ) = P ( B ) ∗ P ( A ∣ B ) P ( A ) P(B|A)=\frac{P(B)*P(A|B)}{P(A)} P(B∣A)=P(A)P(B)∗P(A∣B)
1.3 密度函数与分布函数
- 分类:离散型随机变量、连续性随机变量
(1)离散型随机变量:两点分布、二项分布、泊松分布
(2)连续性随机变量:均匀分布、指数分布、正态分布 - 密度函数
(1)两点分布:n=1时的二项分布
(2)二项分布:X~B(n,p)
P ( X = k ) = C n k p k ( 1 − p ) n − k P(X=k)=C_n^kp^k(1-p)^{n-k} P(X=k)=Cnkpk(1−p)n−k
(3)泊松分布:P( λ \lambda λ)
P ( X = k ) = λ k k ! e − λ P(X=k)= \frac{\lambda ^k}{k!}e^{-\lambda} P(X=k)=k!λke−λ
(4)均匀分布:X~U( α \alpha α, β \beta β)
f ( x ) = { 1 β − α , α < x < β 0 , 其 他 f(x)= \begin{cases} \frac{1}{\beta-\alpha}, & \alpha<x<\beta \\ 0, & 其他 \end{cases} f(x)={β−α1,0,α<x<β其他
(5)指数分布:E( λ \lambda λ)
f ( x ) = { λ e − λ x , x ≥ 0 0 , x < 0 f(x)= \begin{cases} \lambda e^{-\lambda x}, & x\ge0 \\ 0, & x<0 \end{cases} f(x)={λe−λx,0,x≥0x<0
(6)正态分布:Z~N( μ \mu μ, σ 2 \sigma^2 σ2)
f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 , − ∞ < x < + ∞ f(x)= \frac{1}{\sqrt{2\pi} \sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, -\infty<x<+\infty f(x)=2πσ1e−2σ2(x−μ)2,−∞<x<+∞ - 分布函数
F ( x ) = ∫ − ∞ x f ( y ) d y F(x) = \int_{-\infty}^x f(y)dy F(x)=∫−∞xf(y)dy
1.4 Gamma分布 Γ ( α , λ ) \Gamma(\alpha,\lambda) Γ(α,λ)
- 公式
p ( x ) = λ α Γ ( α ) x α − 1 e − λ x , x > 0 , α > 0 , λ > 0 p(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},x>0,\alpha >0, \lambda >0 p(x)=Γ(α)λαxα−1e−λx,x>0,α>0,λ>0
Γ ( α ) = ∫ 0 + ∞ x α − 1 e − x d x \Gamma(\alpha)=\int_{0}^{+\infty} x^{\alpha - 1}e^{-x}dx Γ(α)=∫0+∞xα−1e−xdx - 特殊情况
- 参数 λ \lambda λ的指数分布就是 Γ ( 1 , λ ) \Gamma(1,\lambda) Γ(1,λ)
- 自由度n的卡方分布 χ 2 ( n ) \chi^2(n) χ2(n)就是 Γ ( n 2 , 1 2 ) \Gamma(\frac{n}{2},\frac{1}{2}) Γ(2n,21)
- Gamma分布 Γ ( α , λ ) \Gamma(\alpha,\lambda) Γ(α,λ)对于 α \alpha α具有可加性;而且如果X~ Γ ( α , λ ) \Gamma(\alpha,\lambda) Γ(α,λ),则cX— Γ ( α , λ / c ) \Gamma(\alpha,\lambda/c) Γ(α,λ/c)
1.5 随机向量
- 联合分布函数、联合分布律、联合密度
- 从联合分布到边缘分布
- 随机变量的独立性(两个离散随机变量的独立性)
- 二维正态与多元正态分布
- 条件分布:条件概率的推广
- 独立同分布随机变量的和(正态分布的可加性、二项分布的可加性、卡方分布的可加性)
1.6 数字特征
- 数学期望:随机变量取值的加权平均
E X = ∫ − ∞ + ∞ x f ( x ) d x EX=\int_{-\infty}^{+\infty} xf(x)dx EX=∫−∞+∞xf(x)dx
- 二项分布: E X = n p , D X = n p ( 1 − p ) EX=np, DX=np(1-p) EX=np,DX=np(1−p)
- 泊松分布: E X = D X = λ EX=DX=\lambda EX=DX=λ
- 均匀分布: E X = α + β 2 , D X = ( β − α ) 2 12 EX=\frac{\alpha + \beta}{2}, DX=\frac{(\beta-\alpha)^2}{12} EX=2α+β,DX=12(β−α)2
- 指数分布: E X = 1 λ , D X = 1 λ 2 EX=\frac{1}{\lambda}, DX=\frac{1}{\lambda^2} EX=λ1,DX=λ21
- 正态分布: E X = μ , D X = σ 2 EX=\mu, DX=\sigma^2 EX=μ,DX=σ2
- 方差:随机变量在期望附近取值的分散程度
D X = E ( ( X − E X ) 2 ) = E ( X 2 ) − ( E X ) 2 DX=E((X-EX)^2)=E(X^2)-(EX)^2 DX=E((X−EX)2)=E(X2)−(EX)2 - 切比雪夫不等式
P ( ∣ X − E X ∣ ≥ ε ) ≤ D X ε 2 P(|X-EX|\ge \varepsilon) \leq \frac{DX}{\varepsilon^2} P(∣X−EX∣≥ε)≤ε2DX
P ( ∣ X − E X ∣ ≤ ε ) ≥ 1 − D X ε 2 P(|X-EX|\leq \varepsilon) \ge 1 - \frac{DX}{\varepsilon^2} P(∣X−EX∣≤ε)≥1−ε2DX - 协方差:刻化两个随机变量之间的相依关系
C o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ] = E ( X Y ) − E X E Y Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EXEY Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−EXEY - 相关系数:刻化两个随机变量之间线性关系的程度
ρ x y = C o v ( X , Y ) D ( X ) D ( Y ) \rho_{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)} \sqrt{D(Y)}} ρxy=D(X)D(Y)Cov(X,Y) - 随机向量的数字特征(期望向量、协方差矩阵)
- 条件数学期望
(1)离散随机变量的条件期望
E ( Y ∣ X = x i ) = ∑ j = 1 y j × p ( Y = y j ∣ X = x i ) E(Y|X=x_i)=\sum_{j=1}y_j \times p(Y=y_j|X=x_i) E(Y∣X=xi)=j=1∑yj×p(Y=yj∣X=xi)
(2)连续随机变量的条件期望
E ( Y ∣ X = x ) = ∫ − ∞ + ∞ y × p ( y ∣ x ) d y E(Y|X=x)=\int_{-\infty}^{+\infty} y \times p(y|x)dy E(Y∣X=x)=∫−∞+∞y×p(y∣x)dy - 特征函数:
f
(
t
)
=
E
e
i
t
X
,
t
∈
R
1
f(t)=Ee^{itX},t\in R^1
f(t)=EeitX,t∈R1
(1)二项分布: f ( t ) = ( q + p e i t ) n f(t)=(q+pe^{it})^n f(t)=(q+peit)n
(2)泊松分布: f ( t ) = e λ ( e i t − 1 ) f(t)=e^{\lambda (e^{it} - 1)} f(t)=eλ(eit−1)
(3)均匀分布: f ( t ) = e i t b − e i t a i t ( b − a ) f(t) = \frac{e^{itb}-e^{ita}}{it(b-a)} f(t)=it(b−a)eitb−eita
(4)Gamma分布: f ( t ) = ( 1 − i t λ ) − α f(t)=(1-\frac{it}{ \lambda })^{-\alpha} f(t)=(1−λit)−α
(5)正态分布: f ( t ) = e i μ t − 1 2 σ 2 t 2 f(t)=e^{i\mu t - \frac{1}{2} \sigma^2t^2} f(t)=eiμt−21σ2t2
1.7 大数定律与中心极限定理
- 伯努利大数定律
lim n → ∞ P { ∣ n A n − p ∣ < ε } = 1 ⇒ n A n → p \lim_{n \to \infty} P\{ |\frac {n_A}{n} -p| < \varepsilon \} = 1 \Rightarrow \frac{n_A}{n} \to p n→∞limP{∣nnA−p∣<ε}=1⇒nnA→p - 中心极限定理
(1)二项分布
lim n → ∞ P { X n − n p n p q ≤ x } = 1 2 π ∫ − ∞ x e − x 2 2 d x \lim_{n \to \infty}P{\{\frac{X_n-np}{\sqrt{npq}} \leq x\}} = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{- \frac{x^2}{2}}dx n→∞limP{npqXn−np≤x}=2π1∫−∞xe−2x2dx
(2)同分布: E ( X n ) = μ , D ( X n ) = σ 2 ≠ 0 E(X_n) = \mu, D(X_n) = \sigma^2 \ne 0 E(Xn)=μ,D(Xn)=σ2=0
Y n = ∑ i = 1 n X i − n μ n σ — — N ( 0 , 1 ) Y_n = \frac{\sum_{i=1}^n X_i-n\mu}{\sqrt{n} \sigma}——N(0,1) Yn=nσ∑i=1nXi−nμ——N(0,1)
二、统计量及分布
1.1 定义与种类
- 定义:自变量为来自总体X的一组样本,的一个完全已知的函数
- 注意:统计量自身带有总体中未知参数的信息,但统计量的表达式中不能出现任何未知的参数。
- 种类:充分统计量,完备统计量
(1)充分统计量:没有损失样本所包含的总体未知参数的任何信息
(2)完备统计量:假定T是一个统计量,如果对于任意函数 φ ( ⋅ ) \varphi(·) φ(⋅),只要 E θ { φ ( T ) = 0 } = 1 E_\theta \{\varphi(T) = 0\}=1 Eθ{φ(T)=0}=1,对所有的参数 θ \theta θ都成立,则统计量T就称为是一个完备统计量。
1.2 概率函数
- 公式
f ( x , θ ) = ∏ k = 1 n p ( x k , θ ) f(x, \theta)=\prod_{k=1}^n p(x_k,\theta) f(x,θ)=k=1∏np(xk,θ)
- 离散总体时,样本的联合分布率
- 连续总体时,样本的联合密度函数
- 指数型分布族
(1)定义:如果总体X密度(或分布律) p ( x , θ ) p(x,\theta) p(x,θ)可表示成:则称X的分布是一个指数型分布族。
p ( x , θ ) = C ( θ ) h ( x ) e x p { ∑ i = 1 k b i ( θ ) T i ( x ) } p(x,\theta)=C(\theta)h(x)exp\{ \sum_{i=1}^k b_i(\theta) T_i(x) \} p(x,θ)=C(θ)h(x)exp{i=1∑kbi(θ)Ti(x)}
(2)性质
- 常见的二项分布、泊松分布、指数分布、正态分布等都属于指数型分布族。
- 如果X的总体是指数型分布族,则 ( ∑ T 1 ( X i ) , . . . , ∑ T k ( X i ) ) (\sum T_1(X_i), ... , \sum T_k(X_i)) (∑T1(Xi),...,∑Tk(Xi))是充分完备统计量。
- 特殊分布的统计量
(1)总体X~泊松分布 P ( λ ) P(\lambda) P(λ),因此参数 λ \lambda λ的完备统计量是 ∑ k = 1 n X k \sum_{k=1}^n X_k ∑k=1nXk或者 X ‾ \overline{X} X
(2)总体X~正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2),因此参数 ( μ , σ 2 ) (\mu, \sigma^2) (μ,σ2)的完备统计量是 ( X ‾ , 1 n − 1 ∑ k = 1 n ( X k − X ‾ ) 2 ) (\overline{X}, \frac {1}{n-1} \sum_{k=1}^{n}(X_k-\overline{X})^2) (X,n−11∑k=1n(Xk−X)2)
(3)总体X~均匀分布 U ( 0 , θ ) U(0,\theta) U(0,θ),它并不是一个指数分布族,但是也可以证明参数 θ \theta θ的完备统计量仍然就是它的充分统计量 X ( n ) X_{(n)} X(n)
1.3 常用统计量
- 平均:样本均值、中位数、众数
X ‾ = 1 n ∑ k = 1 n X k \overline{X}=\frac{1}{n} \sum_{k=1}^{n} X_k X=n1k=1∑nXk - 变差:样本方差(或标准差)、极差
S 2 = 1 n − 1 ∑ k = 1 n ( X k − X ‾ ) 2 S^2=\frac{1}{n-1} \sum_{k=1}^{n} (X_k- \overline{X})^2 S2=n−11k=1∑n(Xk−X)2
R a n g e = X ( n ) − X ( 1 ) Range = X_{(n)} - X_{(1)} Range=X(n)−X(1) - 特殊:顺序统计量(从小到大)
1.4 统计量的三大分布
- 卡方分布
χ
2
(
n
)
\chi^2{(n)}
χ2(n)
(1)构造: K 2 = X 1 2 + X 2 2 + . . . + X n 2 K^2 = X_1^2 + X_2^2 + ... + X_n^2 K2=X12+X22+...+Xn2
(2)注意事项: X 1 , X 2 , . . . , X n X_1, X_2, ... , X_n X1,X2,...,Xn独立同分布于 N ( 0 , 1 ) N(0,1) N(0,1)
(3)数字特征: E ( X ) = n , D ( X ) = 2 n E(X)=n, D(X)=2n E(X)=n,D(X)=2n
(4)性质:可加性( χ 2 ( n 1 ) + χ 2 ( n 2 ) \chi^2{(n_1)} + \chi^2{(n_2)} χ2(n1)+χ2(n2) ~ χ 2 ( n 1 + n 2 ) \chi^2{(n_1+n_2)} χ2(n1+n2))
(5)上侧分位点: c = χ α 2 ( n ) : P { X > c } = α c = \chi_\alpha^2(n):P\{X>c\}=\alpha c=χα2(n):P{X>c}=α - t 分布
t
(
n
)
t(n)
t(n)
(1)构造: X X X ~ N ( 0 , 1 ) , Y N(0,1), Y N(0,1),Y ~ χ 2 ( n ) , T = X Y / n \chi^2(n), T=\frac{X}{\sqrt{Y/n}} χ2(n),T=Y/nX
(2)注意事项: X 、 Y X、Y X、Y独立
(3)数字特征: E ( X ) = 0 ( n ≥ 2 ) , D ( X ) = n n − 2 ( n ≥ 3 ) E(X)=0(n \ge 2), D(X)=\frac{n}{n-2}(n \ge 3) E(X)=0(n≥2),D(X)=n−2n(n≥3)
(4)性质: n → ∞ n \to \infty n→∞时,t(n)的极限分布是标准正态
(5)双侧分位点: c = t α / 2 ( n ) : P { ∣ X ∣ > c } = α c = t_{\alpha/2}(n):P\{|X|>c\}=\alpha c=tα/2(n):P{∣X∣>c}=α - F分布
F
(
m
,
n
)
F(m,n)
F(m,n)
(1)构造: X X X ~ χ 2 ( m ) , Y \chi^2(m), Y χ2(m),Y ~ χ 2 ( n ) , F = X / m Y / n \chi^2(n), F=\frac{X/m}{Y/n} χ2(n),F=Y/nX/m
(2)注意事项: X、Y独立
(3)数字特征: E ( X ) = n n − 2 E(X)=\frac{n}{n-2} E(X)=n−2n
(4)性质: 如果 T − t ( n ) T - t(n) T−t(n),则有 T 2 T^2 T2 ~ F ( 1 , n ) F(1,n) F(1,n)
(5)上侧分位点: c = F α / 2 ( m , n ) : P { X > c } = α c = F_{\alpha/2}(m, n):P\{X>c\}=\alpha c=Fα/2(m,n):P{X>c}=α
F 1 − α ( m , n ) = 1 F ( α ) ( n , m ) F_{1-\alpha}(m,n)=\frac{1}{F_{(\alpha)}(n,m)} F1−α(m,n)=F(α)(n,m)1
1.5 正态总体的抽样分布
- 基本定理
- n ( X ‾ − μ ) σ \frac{\sqrt{n}(\overline{X}-\mu)}{\sigma} σn(X−μ) ~ N ( 0 , 1 ) N(0,1) N(0,1)
- ( n − 1 ) S 2 σ 2 \frac{(n-1)S^2}{\sigma^2} σ2(n−1)S2 ~ χ 2 ( n − 1 ) \chi^2(n-1) χ2(n−1)
- X ‾ \overline{X} X 与 S 2 S^2 S2独立
- n ( X ‾ − μ ) S \frac{\sqrt{n}(\overline{X}-\mu)}{S} Sn(X−μ) ~ t ( n − 1 ) t(n-1) t(n−1)
- S 1 2 / S 2 2 σ 1 2 / σ 2 2 \frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2} σ12/σ22S12/S22 ~ F ( n 1 − 1 , n 2 − 1 ) F(n_1 - 1, n_2 - 1) F(n1−1,n2−1)(X,Y分别来自两个独立的正态总体)
- 如果假定
σ
1
2
=
σ
2
2
\sigma_1^2=\sigma_2^2
σ12=σ22,定义:
S w 2 = ( n 1 − 1 ) S 1 2 + ( n 2 − 1 ) S 2 2 n 1 + n 2 − 2 S_w^2=\frac{(n_1-1)S_1^2 + (n_2-1)S_2^2}{n_1 + n_2 - 2} Sw2=n1+n2−2(n1−1)S12+(n2−1)S22
则有
( X ‾ − Y ‾ ) − ( μ 1 − μ 1 ) S w 1 n 1 + 1 n 2 − t ( n 1 + n 2 − 2 ) \frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_1)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}} - t(n_1 + n_2 - 2) Swn11+n21(X−Y)−(μ1−μ1)−t(n1+n2−2)
- 多元正态分布的基本性质
- N ( μ , ∑ ) : f ( x ) = 1 ( 2 π ) n / 2 d e t ∑ e x p { − 1 2 ( x − μ ) T ∑ − 1 ( x − μ ) } N(\mu,\sum):f(x)=\frac{1}{(2\pi)^{n/2}\sqrt{det \sum }}exp\{-\frac{1}{2}(x-\mu)^T\sum^{-1}(x-\mu)\} N(μ,∑):f(x)=(2π)n/2det∑1exp{−21(x−μ)T∑−1(x−μ)}
- X服从n维正态的充分必要条件是:对任意n维列向量 l l l,有 l T X l^TX lTX~ N ( l T μ , l T ∑ l ) N(l^T\mu, l^T\sum l) N(lTμ,lT∑l)
- 如果 X X X ~ N ( μ , ∑ ) N(\mu, \sum) N(μ,∑), A A A 是任意 m × n m \times n m×n矩阵 ( m ≤ n ) (m \leq n) (m≤n),则有 A X AX AX ~ N ( A μ , A ∑ A T ) N(A\mu, A\sum A^T) N(Aμ,A∑AT)
三、常考题型及解题思路
- 证明变量独立
- η = ( η 1 η 2 ) = ( ξ 1 + ξ 2 ξ 1 − ξ 2 ) = ( 1 1 1 − 1 ) ( ξ 1 ξ 2 ) \eta = \binom{\eta_1}{\eta_2} = \binom{\xi_1 + \xi_2}{\xi_1 - \xi_2}=\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\binom{\xi_1}{\xi_2} η=(η2η1)=(ξ1−ξ2ξ1+ξ2)=(111−1)(ξ2ξ1) ~ N ( μ , ∑ ) N(\mu,\sum) N(μ,∑)
- 标准正态分布相关期望方差
- E ∣ Z ∣ = 2 π E|Z|=\sqrt{\frac{2}{\pi}} E∣Z∣=π2
- D ∣ Z ∣ = 1 − 2 π D|Z|=1 - \frac{2}{\pi} D∣Z∣=1−π2
- 证明某统计量服从 χ 2 , t , F \chi^2, t, F χ2,t,F分布:根据定义构造相应形式
- 求方差、协方差阵:用上述公式计算
- 求多元正态联合分布:用公式(矩阵运算)求公式、方差
- 求相关概率
- 切比雪夫不等式
- 中心极限定理构造标准正态分布
- 求指定统计量的分布函数
- 根据分布函数定义计算即可
- 协方差矩阵相关运算
V a r ( δ ) = V a r ( A η ) = A V a r ( η ) A ′ Var(\delta) = Var(A\eta) =AVar(\eta)A^{'} Var(δ)=Var(Aη)=AVar(η)A′