19.数理统计备考(1)

备考篇(1)

第一章

本章是数理统计中的基本知识和基础概念，包含样本、统计量、样本分布、经验分布函数等基本内容。

样本是从总体中抽取的一部分个体，具有两重性。当样本作为随机变量看待时，拥有和总体一样的分布函数，同时样本也有联合分布函数，其联合密度函数或联合密度函数为
$$f(x_1,\cdots ,x_n)=f(x_1)f(x_2)\cdots f(x_n)$$
统计量是样本的函数，是根据样本可以直接算出的值。常用的统计量有样本均值、样本方差、经验分布函数、样本偏度与样本峰度、样本矩等。其中样本均值和样本方差最为常用，为
$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i,S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$
其他的统计量大多可以由总体数字特征直接置换样本矩得到。样本矩分为样本原点矩和中心矩，分别是
$$a_{n,k}=\frac{1}{n}\sum _{i=1}^n{X}_i^k,m_{n,k}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k$$
特别地，记$\bar{X}=a_{n,1},S_n^2=m_{n,2}=(n-1)S^2/n$。

次序统计量是将样本从小到大排列以后，排列在第几个的样本就是其第几次序统计量，这包括最大值、最小值。

统计量也有两重性，当统计量作为随机变量时也有它的分布函数。

数理统计中，取统计量是为了估计分布族中的未知参数。分布族是一类分布构成的集合，如正态分布族、指数分布族等，它们都具有未知参数，所有可能取到的参数构成参数空间。

经验分布函数是 F n ( x ) = # { X 1 , ⋯   , X n < x } F_n(x)=\#\{X_1,\cdots,X_n <x\} Fn​(x)=#{X1​,⋯,Xn​<x}，即样本观测值中小于$x$的个数。格里汶科定理表明当$n\to \infty$时，$F_n(x)$以概率1收敛于$F(x)$。

第二章

本章重点是数理统计中的常用分布与相关性质，包含正态分布、$\Gamma$分布、$\mathrm{B}$分布、三大分布、$Z$分布、次序统计量分布、指数族、充分完全统计量等。

正态分布是三大分布的基础，独立的正态随机变量可以经过线性组合变换成另一个正态随机变量，具体有以下定理（以下正态变量均独立）：
$$\begin{gathered} X_k\sim N(a_k,{\sigma }_k^2)\Rightarrow \sum _{k=1}^n{X}_k\sim N(a,{\sigma }^2),a=\sum _{i=1}^n{a}_k,{\sigma }^2=\sum _{i=1}^n{\sigma }_k^2 \\ X\sim N(a,{\sigma }^2)\Rightarrow nX\sim N(na,n^2{\sigma }^2) \\ X\sim N(a,{\sigma }^2)\Rightarrow \bar{X}\sim N(a,{\sigma }^2/n) \end{gathered}$$
对于正态分布总体$N(a,{\sigma }^2)$，其样本均值、样本方差有以下结论：

1. $\bar{X}\sim N(a,{\sigma }^2/n)$；
2. $(n-1)S^2/{\sigma }^2\sim {\chi }_{n-1}^2$；
3. $\bar{X},S^2$相互独立，这只对正态总体成立。

为了证明以上结论，常常构造一个正交矩阵$\mathbf{A}$为
$$\left(\begin{array}{ccccc}\frac{1}{\sqrt{n}}& \frac{1}{\sqrt{n}}& \frac{1}{\sqrt{n}}& \cdots & \frac{1}{\sqrt{n}}\\ \frac{1}{\sqrt{2\cdot 1}}& \frac{-1}{\sqrt{2\cdot 1}}& 0& \cdots & 0\\ \frac{1}{\sqrt{3\cdot 2}}& \frac{1}{\sqrt{3\cdot 2}}& \frac{-2}{\sqrt{3\cdot 2}}& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots & \cdots \\ \frac{1}{\sqrt{n(n-1)}}& \frac{1}{\sqrt{n(n-1)}}& \frac{1}{\sqrt{n(n-1)}}& \cdots & \frac{-(n-1)}{\sqrt{n(n-1)}}\end{array}\right)$$
然后利用$\mathbf{Y}=\mathbf{A}\mathbf{X}$，可以证明得到2、3两个结论。

---

数理统计中常常用到两个欧拉积分以及相关变化，$\Gamma$积分与$\mathrm{B}$积分如下：
$$\begin{gathered} \Gamma (\alpha )={\int }_0^{\infty }{x}^{\alpha -1}{e}^{-x}dx \\ \mathrm{B}(a,b)={\int }_0^1{x}^{a-1}(1-x{)}^{b-1}dx \end{gathered}$$
欧拉积分的相关变换还有
$$\begin{array}{rl}\Gamma (\alpha +1)=& \alpha \Gamma (\alpha )\\ \mathrm{B}(a,b)=& {\int }_0^1{x}^{a-1}(1-x{)}^{b-1}dx\\ \underset{x=\frac{t}{1+t}}{\overset{t=\frac{x}{1-x}}{=}}& {\int }_0^{\infty }{t}^{a-1}(1+t{)}^{-(a+b)}dt\\ =& {\int }_0^{\infty }\frac{x^{a-1}}{(1+x{)}^{a+b}}dx\\ & \\ \mathrm{B}(a,b)=& \frac{\Gamma (a)\Gamma (b)}{\Gamma (a+b)}\end{array}$$
基于此，有三种分布：$\Gamma$分布、$\mathrm{B}$分布、$Z$分布，其密度函数分别为：
$$\begin{gathered} \Gamma (\alpha ,\lambda )=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x}{I}_{(0,\infty )}(x) \\ \mathrm{B}(a,b)=\frac{1}{\mathrm{B}(a,b)}{x}^{a-1}(1-x{)}^{b-1}{I}_{(0,1)}(x) \\ Z(a,b)=\frac{1}{\mathrm{B}(a,b)}\frac{x^{a-1}}{(1+x{)}^{a+b}}{I}_{(0,\infty )}(x) \end{gathered}$$
三种分布的矩都可以通过欧拉积分变换求均值，分别为
$$E(\Gamma (\alpha ,\lambda ))=\frac{\alpha }{\lambda },E(\mathrm{B}(a,b))=\frac{a}{a+b},E(Z(a,b))=\frac{a}{b-1}$$
三种分布的独立随机变量还满足以下一些关系：
$$\begin{gathered} X_1\sim \Gamma ({\alpha }_1,\lambda ),X_2\sim \Gamma ({\alpha }_2,\lambda )\Rightarrow X_1+X_2\sim \Gamma ({\alpha }_1+{\alpha }_2,\lambda ) \\ {X}_1\sim \Gamma ({\alpha }_1,\lambda ),X_2\sim \Gamma ({\alpha }_2,\lambda )\Rightarrow \frac{X_1}{X_1+X_2}\sim \mathrm{B}({\alpha }_1,{\alpha }_2) \\ {X}_1\sim \Gamma ({\alpha }_1,\lambda ),X_2\sim \Gamma ({\alpha }_2,\lambda )\Rightarrow \frac{X_1}{X_2}\sim Z({\alpha }_1,{\alpha }_2) \\ Y\sim \mathrm{B}(a,b)\Rightarrow \frac{Y}{1-Y}\sim Z(a,b) \\ X\sim Z(a,b)\Rightarrow \frac{X}{1+X}\sim \mathrm{B}(a,b) \end{gathered}$$

---

关于次序统计量，其密度函数可以由几何意义得出，这里写出几个常用的密度函数（分布函数），下设总体分布为$F(x)$，总体密度为$p(x)$。

$X_{(k)}$的密度函数为
$$p_k(x)=\frac{n!}{(n-k)!(k-1)!}[F(x){]}^{k-1}[(1-F(x)){]}^{n-k}p(x)$$
特别地对于最大最小值，有
$$\begin{gathered} p_1(x)=np(x)[1-F(x){]}^{n-1},F_1(x)=1-[1-F(x){]}^n \\ {p}_n(x)=np(x)[F(x){]}^{n-1},F_n(x)=[F(x){]}^n \end{gathered}$$
$(X_{(i)},X_{(j)})$的联合密度为
$$\begin{gathered} p_{i,j}(x_i,x_j)=\frac{n!}{(x_i-1)!(x_j-x_i-1)!(n-x_j)!}[F(x_i){]}^{x_i-1}\cdot \\ [F(x_j)-f(x_i){]}^{x_j-x_i-1}[1-f(x_j){]}^{n-x_j}p(x_i)p(x_j)I(x_i<x_j) \end{gathered}$$
特别地对于$(X_{(1)},X_{(n)})$，有
$$p_{1,n}(x,y)=n(n-1)[F(y)-F(x){]}^{n-2}p(x)p(y)I(x<y)$$
$(X_{(1)},\cdots ,X_{(n)})$的联合密度为
$$p(x_{(1)},\cdots ,x_{(n)})=n!p(x_{(1)})\cdots p(x_{(n)})I(x_{(1)}<\cdots <x_{(n)})$$
对于均匀分布$U(0,1)$，其极差分布为
$$p_R(r)=n(n-1)r^{n-2}(1-r)I(0<r<1)$$

---

三大分布族指${\chi }^2$分布、$t$分布与$F$分布，他们都是与正态分布相关的分布。

${\chi }_n^2$分布是$n$个独立的$N(0,1)$变量和的分布，其密度函数为$\Gamma (n/2,1/2)$。其相关变形有
$$\begin{gathered} X\sim \Gamma (n,\lambda )\Rightarrow 2\lambda X\sim {\chi }_{2n}^2 \\ {X}_1\sim {\chi }_a^2,X_2\sim {\chi }_b^2\Rightarrow X_1+X_2\sim {\chi }_{a+b}^2 \end{gathered}$$
$t$分布是$N(0,1)$与${\chi }_n^2$分布正则化后的比值，即
$$X\sim N(0,1),Y\sim {\chi }_n^2\Rightarrow T=\frac{X}{\sqrt{Y/n}}\sim t_n$$
$F$分布是两个正则化${\chi }^2$分布的比值，即
$$X\sim {\chi }_m^2,Y\sim {\chi }_n^2\Rightarrow F=\frac{X/m}{Y/n}\sim F_{m,n}$$
三大分布都有其各自的分位数表，可以用来进行区间估计和假设检验。$F$分布在查表时还会用到以下用来求$\alpha$较接近1时的转换公式：
$$F_{m,n}(1-\alpha )=\frac{1}{F_{n,m}(\alpha )}$$
正态分布的相关统计量中，也有与三大分布的关联。以下单样本时设$X\sim (a,{\sigma }^2)$样本个数为$n$；双样本时设$X\sim N(a_1,{\sigma }_1^2)$样本个数为$m$，$Y\sim N(a_2,{\sigma }_2^2)$样本个数为$n$。
$$\begin{gathered} \sum _{i=1}^n{\left(\frac{X_i-a}{\sigma }\right)}^2\sim {\chi }_n^2 \\ T=\frac{\sqrt{n}(\bar{X}-a)}{S}\sim t_{n-1} \\ F=\frac{S_1^2}{S_2^2}\frac{{\sigma }_2^2}{{\sigma }_1^2}\sim F_{m-1,n-1} \end{gathered}$$

---

指数族是一系列具有特殊形式样本密度函数（概率分布列）的参数分布族，如果可以将联合密度函数写成如下形式：
$$f(\mathbf{x})=C(\theta )\exp \left\{\sum _{i=1}^k{Q}_i(\theta )T_i(\mathbf{x})\right\}h(\mathbf{x})$$
指数族拥有良好的性质，最典型的是指数分布族拥有共同的支撑集，因此$U(0,\theta )$显然不是指数族。而正态分布族、二项分布族、Gamma分布族、泊松分布族等都是指数族。

在指数族的形式中，如果令${\phi }_i=Q_i(\theta )$，将$f(\mathbf{x};\theta )$改写成$f(\mathbf{x};\phi )$，就得到指数族的自然形式如下：
$$f(\mathbf{x})=C^{\ast }(\phi )\exp \left\{\sum _{i=1}^k{\phi }_i{T}_i(\mathbf{x})\right\}h(\mathbf{x})$$
指数族的自然参数空间为凸集；指数族求导可以在积分号下求导，且可以求任意阶导数。

---

充分统计量指的是蕴含样本中所有关于未知参数信息的统计量，即在已知$T$的条件下，样本的条件分布与未知参数$\theta$无关。对于离散情形，要验证$\mathbf{P}(\mathbf{X}\in A|T)$与$\theta$无关；对于连续情形，要验证$p(\mathbf{x}|T)$与$\theta$无关，这里
$$\begin{gathered} \mathbf{P}(\mathbf{X}\in A|T=t)=\frac{P(\mathbf{X}\in A,T=t)}{P(T=t)} \\ p(\mathbf{x}|t)=\frac{p(x,t)}{p(t)} \end{gathered}$$
用定义验证统计量的充分性是麻烦的，如果可以将样本的联合密度函数写成
$$p(\mathbf{x};\theta )=g(T(\mathbf{x}),\theta )$$
的形式，则$T(\mathbf{X})$是充分统计量，这是因子分解定理。

完备统计量指的是对于某一个统计量$T$，对任何满足$E(\phi (T))=0$都能推出$\phi =0$以概率1成立。要证明统计量的完备性，一般会写出$E(\phi (T))$的离散和式或连续积分式，然后比较未知参数的系数或者对未知参数求导，从而得到$\phi =0$。

在指数族的自然形式中，分布函数为
$$f(\mathbf{x};\theta )=C(\theta )\exp \left\{\sum _{i=1}^k{\theta }_i{T}_i(\mathbf{x})\right\}h(\mathbf{x})$$
在$\theta$的自然参数空间${\Theta }^{\ast }$中，如果其作为${\mathbb{R}}^k$的子集有内点，则$\mathbf{T}(\mathbf{X})=(T_1(\mathbf{X}),\cdots ,T_k(\mathbf{X}))$是完全统计量；如果$h(\mathbf{x})=1$，则它还是充分统计量。

要证明某个统计量不是完备的，就要找到一个函数$\phi \ne 0$，但$E(\phi (T))=0$。