统计量及其分布

统计量及其分布

这章的核心是认识经验分布函数，统计量以及三大抽样分布，这些构成了数理统计的基础。数理统计围绕着总体和样本，希望通过了解样本的情况，提出相应的统计量，并通过了解统计量的分布，也即抽样分布来估计总体参数。
经验分布函数参考经验分布函数与格里纹科定理

统计量

统计量是什么？从定义上说，统计量是不含未知参数的样本函数。统计量是一个函数，是对样本信息的一个精炼提取，以此反映总体情况的工具。我们通常记统计量为$T=T(x_1,x_2...x_n)$
常用的统计量有，样本均值，样本方差，样本峰度，样本偏度。
对于统计量的分布，称为抽样分布。通过了解抽样分布可以得到总体参数的点估计与区间估计，达到样本估计总体的目的。

充分统计量

统计量中有一个重要的概念是充分统计量，从数学上讲，样本的条件分布与总体参数无关，则T即为充分统计量，即

$p(x|T;\theta) = f(X|T(x_1,x_2...x_n)=t)$
通俗来讲意即我们定义的统计量T能够涵盖样本的所有信息，由此可导出 充分性原则：
对总体参数的估计都应基于充分统计量，并且UMVUE（一致最小方差无偏估计）一定可表示为充分统计量的函数
通常来说，充分统计量即用到了全部样本信息的统计量，如样本均值（是所有样本值的平均），样本的次序统计量（ $x_{(i)}是将所有样本排序后得到的$），不难理解这样的统计量能概括所有的样本信息，因此更适合做统计推断。关于UMVUE将在以后的微博阐述。

因子分解定理

要是每次都通过求样本的条件分布来判断充分统计量，是非常困难且计算量大的。这里给出因子分解定理，将能帮助判断是否是充分统计量：

设总体密度函数为 $f(x;\theta),x_1......x_n是样本，T(x_1......x_n)为充分统计量的充要条件是：存在两个函数g(t,\theta)和h(x_1......x_n)使得对于任意的\theta和任意一组x_1......x_n，有f(x_1......x_n)=g(T(x_1......x_n),\theta)\times h(x_1......x_n)$
接下来判断充分统计量即找出相应的g和h了。举个例子：

假设总体服从指数分布$Exp(\lambda)$，密度函数为$f(x;\theta)=\lambda e^{-\lambda x}$，则$f(x_1......x_n)=\lambda ^n e^{-\lambda \sum_{i=1}^{n}x_i}$
令$T(x_1......x_n)=\bar{x},g(T,\lambda)=\lambda^n e ^{-\lambda n\bar{x}},h(x_1......x_n)=1$，
则易得$f(x_1......x_n)=g(T(x_1......x_n),\lambda)\times h(x_1......x_n)$
因此$\bar{x}$是充分统计量。
通过这种方式，判断充分统计量变得容易的多。

---

三大抽样分布

下面将阐述统计学中三大重要的抽样分布卡方分布，F分布与t分布，基于这三种分布可得到许多假设检验方式。

卡方分布

设$X_1......X_n$是来自总体N(0,1)的独立同分布样本，称$\sum{i=1}^{n}X_i^2$的分布为自由度为n的$\chi^2$分布，记为$\chi^2$(n).

$\chi^2(n)即Ga(\frac{n}{2},\frac{1}{2})$,因此均值为n，方差为2n

F分布

设X ~ $\chi^2(n)$,Y ~ $\chi^2(m)$相互独立，称$\frac{X/n}{Y/m}$服从F分布，记为F(n,m)

由此可知，F分布由两个服从卡方分布的随机变量构造而来。

t分布

设X ~ N(0,1)，Y ~ $\chi^2(n)$相互独立，称$\frac{X}{\sqrt{Y/n}}$服从t分布，记为t(n)

当n=1时，t分布为柯西分布，n>1时期望为0，n>2时方差有限且等于$\frac{n}{n-2}$,因此可以发现t分布是对称的，且当n->$+\infty$时，方差趋于1，t分布逐渐趋于标准正态分布。