数理统计复习笔记一——统计中常用的抽样分布(卡方分布，t分布，F分布)

前言：

  总结一下数理统计中的基本概念，一些用python的实现在这里。不断持续更新。

1. 几个基本概念
 1.1 次序统计量
 1.2 样本偏度与样本峰度
 1.3 经验分布函数
 1.4 抽样分布
2. 统计中的常用分布
 2.1 卡方分布
 2.2 t 分布
 2.3 F分布
3. 指数型分布族（和广义线性模型有关）
4. 点估计
 4.1 极大似然估计
5. 区间估计
 5.1 几个基本概念
6. 假设检验——显著性检验
 6.1 几个基本概念
 6.2 求取某假设的显著性检验的步骤
 6.3 似然比检验
 6.4 p值

1. 几个基本概念：

1.1 次序统计量：

  设$X_1,X_2,\cdots ,X_n$为样本，把$X_1,X_2,\dots ,X_n$由小到大排列成$X_{(1)}\le \cdots \le X_{(n)}$，则称$(X_{(1)},\cdots ,X_{(n)})$为次序统计量，$X_{(i)}$则成为第$i$个次序统计量。
  

• 样本$p$分位数：对于给定的$p\in (0,1)$，我们称：$$m_n{,}_p=X_{([np])}+(n+1)(p-\frac{[np]}{n+1})(X_{([np]+1)}-X_{([np])})\text{\hspace{1em}(1)}$$为此样本的$p$分位数. 特别的，样本中位数定义为：$$X_{med}=\{\begin{array}{ll}{X}_{(\frac{n+1}{2})}& n为奇数\\ & \\ \frac{X_{(\frac{n}{2})}+X_{(\frac{n}{2}+1)}}{2}& n为偶数\end{array}\text{\hspace{1em}(2)}$$

• 极值统计量：称$X_{(1)}$和$X_{(n)}$为极小值和极大值统计量.

• 极差：$R=X_{(n)}-X_{(1)}$

1.2 样本偏度与样本峰度：

• 样本偏度：$\frac{\sqrt{n}\sum _{i=1}^n(X_i-\bar{X}{)}^3}{[\sum _{i=1}^n(X_i-\bar{X}{)}^2{]}^{\frac{3}{2}}}$，可以用来度量随机变量概率分布的不对称性。大于0时，概率分布图右偏；小于0时，概率分布图左偏。
• 样本峰度：$\frac{n\sum _{i=1}^n(X_i-\bar{X}{)}^4}{[\sum _{i=1}^n(X_i-\bar{X}{)}^2{]}^2}-3$，用来度量随机变量概率分布的陡峭程度。峰度值越大，概率分布图越高尖，峰度值越小，越矮胖。
• 详见偏态分布学习笔记（期望，中位数，众数）
  

1.3 经验分布函数：

  设$X_1,\cdots ,X_n$为取自总体的分布函数为$F(x)$的样本，$X_{(1)}\le \cdots \le X_{(n)}$为其次序统计量，则称： F n ( x ) = 1 n ∑ i = 1 n I { X i < x } = { 0 x ≤ X ( 1 ) k n X ( k ) < x ≤ X ( k + 1 ) , k = 1 , ⋯   , n − 1 1 x > X ( n ) (3) F_n(x)=\frac{1}{n}\sum\limits_{i=1}^nI_{\{X_i\lt x\}}=\begin{cases}0 &x\le X_{(1)}\\\frac{k}{n} &X_{(k)}\lt x\le X_{(k+1)}, k=1, \cdots , n-1\\1 &x\gt X_{(n)}\end{cases}\tag3 Fn​(x)=n1​i=1∑n​I{Xi​<x}​=⎩⎪⎨⎪⎧​0nk​1​x≤X(1)​X(k)​<x≤X(k+1)​,k=1,⋯,n−1x>X(n)​​(3)为样本$X_1,\cdots ,X_n$的经验分布函数。

1.4 抽样分布：

  统计量是作为随机变量的样本的函数，故它也有概率分布，于是我们称统计量的概率分布为该统计量的抽样分布。

• 一个重要的抽样分布：设$X_1,\cdots ,X_n$为来自$N(\mu ,{\sigma }^2)$的$IID$样本，则由概率论的知识可知$$\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$$

2. 统计中的常用分布：

2.1 卡方分布：

  设$X_1,\cdots ,X_n\sim N(0,1)$且是独立同分布的，则称随机变量$$\xi =\sum _{i=1}^n{X}_i^2\text{\hspace{1em}(4)}$$所服从的分布为自由度为$n$的${\chi }^2$分布，也称$\xi$为自由度为$n$的${\chi }^2$随机变量，并记为$\xi \sim {\chi }^2(n)$.

• $PDF$：$$f(x)=\{\begin{array}{ll}\frac{1}{2^{n/2}\Gamma (n/2)}{e}^{-\frac{x}{2}}{x}^{\frac{n}{2}-1},& x>0\\ 0,& x\le 0\end{array}\text{\hspace{1em}(5)}$$其中$n$为自由度。
• 图像：
  

1.随着$n$的增大，它的对称性越来越好，峰度越来越小
2.随着$n$的增大，其图形越来越像正态分布的概率密度函数
3.随着$n$的增大，它的图形越来越向右移动，且尾部越来越大

• 期望：$E\xi =n$
• 方差：$Var\xi =2n$
• 独立可加性：设$\xi \sim {\chi }^2(m),\eta \sim {\chi }^2(n)$，且$\xi ,\eta$相互独立，则$\xi +\eta \sim {\chi }^2(m+n)$
• ★★ 很重要的一个定理：设$X_1,\cdots ,X_n\sim N(\mu ,{\sigma }^2)$且是独立同分布的，$\bar{X}$和$S_n^2$分别是样本均值和方差，则$$\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})\text{\hspace{1em}(6)}$$ $$(n-1)S_n^2/{\sigma }^2\sim {\chi }^2(n-1)\text{\hspace{1em}(7)}$$ $$\bar{X}与S_n^2独立\text{\hspace{1em}(8)}$$由$(8)$可知，如果一组随机样本的均值与方差独立，那么总体分布必为正态分布。

证明：
令$\mathbf{A}$为如下的正交矩阵：$$\left[\begin{array}{ccccccc}\frac{1}{\sqrt{n}}& \frac{1}{\sqrt{n}}& \frac{1}{\sqrt{n}}& \frac{1}{\sqrt{n}}& \cdots & \frac{1}{\sqrt{n}}& \frac{1}{\sqrt{n}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0& 0& \cdots & 0& 0\\ \frac{1}{\sqrt{2\times 3}}& \frac{1}{\sqrt{2\times 3}}& -\frac{2}{\sqrt{2\times 3}}& 0& \cdots & 0& 0\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ \frac{1}{\sqrt{(n-1)\times n}}& \frac{1}{\sqrt{(n-1)\times n}}& \frac{1}{\sqrt{(n-1)\times n}}& \frac{1}{\sqrt{(n-1)\times n}}& \cdots & \frac{1}{\sqrt{(n-1)\times n}}& -\frac{n-1}{\sqrt{(n-1)\times n}}\end{array}\right]$$

做如下的正交变换：$$\left[\begin{array}{c}{Y}_1\\ ⋮\\ Y_n\end{array}\right]=A\left[\begin{array}{c}{X}_1\\ ⋮\\ X_n\end{array}\right]$$
则有：$$Y_1=\frac{1}{\sqrt{n}}\sum _{i=1}^n{X}_i=\sqrt{n}\bar{X}$$
$$\sum _{i=1}^n{Y}_i^2=\sum _{i=1}^n{X}_i^2=\sum _{i=1}^n(X_i-\bar{X}{)}^2+n{\bar{X}}^2$$

所以$$(n-1)S_n^2=\sum _{i=1}^n(X_i-\bar{X}{)}^2=\sum _{i=1}^n{Y}_i^2-n{\bar{X}}^2=\sum _{i=2}^n{Y}_i^2$$

而$Y_i$是相互独立的正态随机变量，且$E{Y}_1=\sqrt{n}\mu ,E{Y}_k=0(k\ge 2),Var{Y}_k={\sigma }^2(k=1\cdots n)$

所以$Y_1$与$(n-1)S_n^2$独立，即$\bar{X}$与$(n-1)S_n^2$独立，且$$\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n}),(n-1)S_n^2/{\sigma }^2\sim {\chi }^2(n-1)$$

2.2 t 分布：

  设$\xi \sim N(0,1),\eta \sim {\chi }^2(n)$，且$\xi ,\eta$相互独立，则称随机变量$$T=\frac{\xi }{\sqrt{\eta /n}}\text{\hspace{1em}(9)}$$所服从的分布为$t$分布，$n$为其自由度，且记为$T\sim t(n)$.

• $PDF$:$$f(x)=\frac{\Gamma ((n+1)/2)}{\sqrt{n\pi }\Gamma (n/2)}(1+x^2/n{)}^{-\frac{n+1}{2}}\text{\hspace{1em}(10)}$$
• 图像：
  

1.$t(n)$的PDF关于$y$轴对称，且$\underset{|x|\to \infty }{\lim }f(x)=0$
2.随着$n$的增大，其峰度越来越高，尾部越来越小
3.当$n$很大时，$t$分布的PDF接近于标准正态分布的PDF
4.当$n=1$时，它是Cauchy分布，故此时期望不存在

• 期望：如果$n>2$，则$E\xi =0$
• 方差：$Var\xi =\frac{n}{n-2}$
• ★★ 很重要的一个定理：设$X_1,\cdots ,X_n\sim N(\mu ,{\sigma }^2)$且独立同分布，$\bar{X},S_n^2$分别是样本均值与方差，则$$T=\frac{\sqrt{n}(\bar{X}-\mu )}{S_n}\sim t(n-1)\text{\hspace{1em}(11)}$$根据此定理，可用样本数据做$t$检验。

2.3 F 分布：

  设$\xi ,\mu$是自由度分别为$m,n$的独立的${\chi }^2$随机变量，则称随机变量$$F=\frac{\xi /m}{\eta /n}\text{\hspace{1em}(12)}$$所服从的分布为$F$分布，其自由度为$(m,n)$，且记为$F\sim F(m,n)$.

1.设$\xi \sim {\chi }^2(m),\eta \sim {\chi }^2(n)$，且$\xi$与$\eta$相互独立，则$Y=\xi +\eta$与$Z=\xi /\eta$相互独立
2.设随机变量$X\sim F(m,n)$，则$\frac{1}{X}\sim F(n,m)$

• $PDF$：$$f(x;m,n)=\{\begin{array}{ll}0,& x<0\\ \frac{\Gamma ((m+n)/2)}{\Gamma (m/2)\Gamma (n/2)}(\frac{m}{n})(\frac{mx}{n}{)}^{m/2-1}(1+\frac{mx}{n}{)}^{-(m+n)/2},& x>0\end{array}\text{\hspace{1em}(13)}$$

• 图像：
  

• 期望：$E\xi =\frac{n}{n-2},n>2$

• 方差：$Var\xi =\frac{n^2(2m+2n-4)}{m(n-2{)}^2(n-4)},n>4$

• ★★ 很重要的一个定理：设$X_1,\cdots ,X_m\sim N({\mu }_1,{\sigma }_1^2)$且独立同分布，$Y_1,\cdots ,Y_n\sim N({\mu }_2,{\sigma }_2^2)$且独立同分布，且两组样本独立，则$$F=\frac{S_{1m}^2/{\sigma }_1^2}{S_{2n}^2/{\sigma }_2^2}\sim F(m-1,n-1)\text{\hspace{1em}(14)}$$其中，$S_{1m}^2=\frac{1}{m-1}\sum _{i=1}^m(X_i-\bar{X}{)}^2$，$S_{2n}^2=\frac{1}{n-1}\sum _{i=1}^n(Y_i-\bar{Y}{)}^2$，特别的，如果${\sigma }_1={\sigma }_2$，则$F=\frac{S_{1m}^2}{S_{2n}^2}\sim F(m-1,n-1)$.

综合$2.2$和$2.3$，可有如下定理：

设$X_1,\cdots ,X_m\sim N({\mu }_1,{\sigma }^2)$且独立同分布，$Y_1,\cdots ,Y_n\sim N({\mu }_2,{\sigma }^2)$且独立同分布，且全样本独立，则$$T=\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sqrt{(m-1)S_{1m}^2+(n-1)S_{2n}^2}}\sqrt{\frac{mn(m+n-2)}{m+n}}\sim t(m+n-2)$$

证明：
由$X_1,\cdots ,X_m\sim N({\mu }_1,{\sigma }^2)$且独立同分布，$Y_1,\cdots ,Y_n\sim N({\mu }_2,{\sigma }^2)$且独立同分布，且全样本独立可知，$$\frac{(m-1)S_{1m}^2+(n-1)S_{2n}^2}{{\sigma }^2}\sim {\chi }^2(m+n-2)\text{\hspace{1em}(*)}$$
而$\bar{X}\sim N({\mu }_1,\frac{1}{m}{\sigma }^2)$，$\bar{Y}\sim N({\mu }_2,\frac{1}{n}{\sigma }^2)$，所以$$\bar{X}-{\mu }_1\sim N(0,\frac{1}{m}{\sigma }^2)$$$$\bar{Y}-{\mu }_2\sim N(0,\frac{1}{n}{\sigma }^2)$$
所以$(\bar{X}-{\mu }_1)-(\bar{Y}-{\mu }_2)=(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)\sim N(0,\frac{1}{m}{\sigma }^2+\frac{1}{n}{\sigma }^2)$
所以$$\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{1}{m}{\sigma }^2+\frac{1}{n}{\sigma }^2}}\sim N(0,1)\text{\hspace{1em}(**)}$$
结合$\ast$式和$\ast \ast$式即可证明

  

3. 指数型分布族（和广义线性模型有关）

  设 F = { f ( x , θ ) : θ ∈ Θ } \mathcal{F}=\{f(x,\theta):\theta \in \Theta\} F={f(x,θ):θ∈Θ}是某参数分布族，如果$f(x,\theta )$可以表示成$$f(x,\theta )=c(\theta )exp(\sum _{i=1}^k{c}_i(\theta )T_i(x))h(x)\text{\hspace{1em}(15)}$$则称此分布族为指数型分布族，其中$k$为正整数，$c(\theta )>0,h(x)>0$.

  

4. 点估计

4.1 极大似然估计：

• 似然函数：$L(\theta ,x)=f(x,\theta )$，其中，$f(x,\theta )$是样本的函数，$L(\theta ,x)$是参数的函数
• 对数似然函数：$l(\theta ,x)$或$l(\theta )=lnL(\theta ,x)$
• 得分函数或似然方程：$\frac{\partial l(\theta ,x)}{\partial {\theta }_j}=0,j=1,\cdots ,k$，其中，$\theta \in \Theta \subseteq R^k$
• 似然估计的不变原则：如果$g(\theta )$是1-1映射，且$\hat{\theta }$是$\theta$的极大似然估计，则$g(\hat{\theta })$是$g(\theta )$的极大似然估计

  

5. 区间估计

详见贝叶斯可信区间与置信区间

5.1 几个基本概念：

• 置信区间：设[${\hat{\theta }}_L(X),{\hat{\theta }}_U(X)$]是参数$\theta$的一个区间估计，如果对给定的$\alpha \in (0,1)$，有 P θ { θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) } ≥ 1 − α , ∀ θ ∈ Θ (16) P_{\theta}\{\hat{\theta}_L(X)\le\theta\le\hat{\theta}_U(X)\}\ge1-\alpha, \forall \theta\in\Theta\tag{16} Pθ​{θ^L​(X)≤θ≤θ^U​(X)}≥1−α,∀θ∈Θ(16)则称[${\hat{\theta }}_L(X),{\hat{\theta }}_U(X)$]为$\theta$的置信水平为$1-\alpha$的置信区间
• 置信下限： p { θ ^ L ( X ) ≤ θ } ≥ 1 − α (17) p\{\hat{\theta}_L(X)\le\theta\}\ge1-\alpha\tag{17} p{θ^L​(X)≤θ}≥1−α(17)
• 置信上限： p { θ ^ U ( X ) ≥ θ } ≥ 1 − α (18) p\{\hat{\theta}_U(X)\ge\theta\}\ge1-\alpha\tag{18} p{θ^U​(X)≥θ}≥1−α(18)

  

6. 假设检验——显著性检验

6.1 几个基本概念：

• 假设或统计假设：在统计中，我们需要根据样本去推断一个是否“正确”的命题，就称为一个假设或统计假设
• 检验：通过样本对一个假设做出“对”或“不对”的具体判断规则就称为该假设的一个检验
• 第一类错误（拒真）：当原假设$H_0$成立，即$\theta \in {\Theta }_0$时，样本却落入了拒绝域$W$，此时，由样本我们采取了拒绝$H_0$的错误决策，称这样的错误为第一类错误
• 第二类错误（纳伪）：当备择假设$H_1$成立，即$\theta \in {\Theta }_1$时，样本却落入了接受域$\overline{W}$，此时，由样本我们采取了接受$H_0$的错误决策，称这样的错误为第二类错误
• 显著性水平：对于检验$\psi$和事先给定的$\alpha \in (0,1)$，如果满足 P θ { X ∈ W } ≤ α , ∀ θ ∈ Θ 0 (19) P_{\theta}\{X\in W\}\le \alpha, \forall\theta\in\Theta_0\tag{19} Pθ​{X∈W}≤α,∀θ∈Θ0​(19)则称$\alpha$是检验$\psi$的显著性水平或水平，也称$\psi$为显著性水平$\alpha$的检验

  

6.2 求取某假设的显著性检验的步骤：

• 根据实际问题，建立统计假设$H_0\leftrightarrow H_1$；
• 选取一个合适的统计量$T(X)$，使当$H_0$成立时，$T$的分布已知，且与参数$\theta$无关（称此分布为统计量$T$的零分布）；
• 根据$H_0$和$H_1$的特点，确定拒绝域$W$的区间形式；
• 对于给定的显著性水平$\alpha$，确定拒绝域$W$；
• 由样本观测值$x$，计算统计量$T(X)$的值$T(x)$，由$T(x)$是否属于$W$，作出最终判断。

  

6.3 似然比检验：

• 似然比统计量：设$X_1,\cdots ,X_n$为来自分布族 F = { f ( x , θ ) : θ ∈ Θ } \mathcal F=\{f(x,\theta):\theta\in\Theta\} F={f(x,θ):θ∈Θ}的$IID$样本，对于感兴趣的假设$H_0:\theta \in {\Theta }_0\leftrightarrow H_1:\theta \in {\Theta }_1=\Theta -{\Theta }_0$，令$$\lambda (X)=\frac{su{p}_{\theta \in {\Theta }_0}f(X,\theta )}{su{p}_{\theta \in \Theta }f(X,\theta )}\text{\hspace{1em}(20)}$$则称统计量$\lambda (X)$为假设的似然比，有时也称广义似然比
• 似然比检验（LRT）：采用$(20)$作为假设的检验统计量，且取其拒绝域为 { λ ( x ) ≤ c } \{\lambda(x)\le c\} {λ(x)≤c}，其中临界值$c$满足 P θ { λ ( X ) ≤ c } ≤ α , ∀ θ ∈ Θ 0 (21) P_{\theta}\{\lambda(X)\le c\}\le \alpha, \forall \theta \in \Theta_0 \tag{21} Pθ​{λ(X)≤c}≤α,∀θ∈Θ0​(21)则称此检验为显著性水平$\alpha$的似然比检验

  

6.4 p值：

详见：假设检验中p值的理解

参考：《数理统计教程》，王兆军，邹长亮 编著