概率论与数理统计教程(五)-统计量及其分布05：充分统计量

§5.5 充分统计量
5.5.1 充分性的概念
构造统计量就是对样本进行加工, 去粗取精, 简化样本, 便于统计推断. 但在加工
过程中是否会丢失样本中关于感兴趣问题的信息?
如果某个统计量包含了样本中关于感兴趣问题的所有信息,则这个统计量对将来的统计推断会非常有用,这就是充分统计量的直观含义,
它是费希尔于 1922 年正式提出的, 而其思想则源于他与天文学家埃丁顿
(Eddington) 的有关估计标准差的争论中. 设 $x_1,x_2,\cdots ,x_n$
为来自 $N\left(\mu ,{\sigma }^2\right)$ 的独立同分布样本, 现要估计
$\sigma$. 费希尔主张用样本标准差 $s$, 而埃丁顿则主张用如下的平均绝对偏差
$$d=\sqrt{\frac{\pi }{2}}\frac{1}{n}\sum _{i=1}^n\left|x_i-\bar{x}\right|.$$
费希尔认为 “在 $s$ 中包含了样本中有关 $\sigma$ 的全部信息, 而 $d$ 则否”,
换句话说, $s$ 是充分统计量,而 $d$ 不是,故应选用 $s$.
在给出充分统计量的严格定义之前, 我们先看一个例子.
例 5.5.1 为研究某个运动员的打靶命中率 $\theta$, 我们对该运动员进行测试,
观测其 10 次打靶结果, 发现除第 3.6 次未命中外, 其余 8 次都命中.
这样的观测结果包含了两种信息:
(1) 打靶 10 次命中 8 次;
(2) 2 次不命中分别出现在第 3 次和第 6 次打靶上.
第二种信息 (序号) 对了解该运动员的命中率是没有什么帮助的:
设想我们对该运动员的观测结果是第 1.2 次未命中, 其余都命中,
虽然样本观测值是不一样的, 但它们提供的关于命中率 $\theta$
的信息是一样的. 因此, 在大多数实际问题中,
试验编号信息常常对了解总体或其参数是无关紧要的.
一般地, 设我们对该运动员进行 $n$ 次观测, 得到
$x_1,x_2,\cdots ,x_n$, 每个 $x_i$ 取值非 0 即 1 , 命中为 1 ,
不命中为 0 , 令 $T=x_1+x_2+\cdots +x_n,T$ 为观测到的命中次数,
在这种场合仅仅记录、使用 $T$ 不会丢失任何与命中率 $\theta$ 有关的信息,
统计上将这种 “样本加工不损失信息"称为"充分性”.
上面我们直观地给出了关于 “充分性” 的叙述,
接下来我们从概率层面对之进行分析. 我们知道, 样本
$X=\left(x_1,x_2,\cdots ,x_n\right)$ 有一个样本联合分布
$F_{\theta }(X)$, 这个分布包含了样本中一切有关 $\theta$ 的信息. 统计量
$T=T\left(x_1,x_2,\cdots ,x_n\right)$ 也有一个抽样分布
$F_{\theta }^T(t)$, 当我们期望用统计量 $T$ 代替原始样本 $X$
并且不损失任何有关 $\theta$ 的信息时, 也就是期望抽样分布
$F_{\theta }^T(t)$ 像 $F_{\theta }(X)$ 一样概括了有关 $\theta$
的一切信息. 换言之, 我们考察在统计量 $T$ 的取值为 $t$的情况下样本 $X$
的条件分布 $F_{\theta }(X\mid T=t)$, 可能有两种情况:
- $F_{\theta }(X\mid T=t)$ 依赖于参数 $\theta$, 此条件分布仍含有
$\theta$ 的信息.
- $F_{\theta }(X\mid T=t)$ 不依赖于参数 $\theta$,此条件分布已不含
$\theta$ 的信息.
后者表明, 条件 " $T=t$ " 的出现使得从样本联合分布 $F_{\theta }(X)$
到条件分布 $F_{\theta }(X\mid T=t)$, 有关 $\theta$ 的信息消失了,
这说明有关 $\theta$ 的信息都含在统计量 $T$ 之中. 当已知统计量 $T$
的取值之后, 也就知道了样本中关于 $\theta$ 的所有信息,
这正是统计量具有充分性的含义.
例 5.5 .2 设总体为二点分布 $b(1,\theta ),X_1,X_2,\cdots ,X_n$
为样本, 令 $T=X_1+X_2+\cdots +X_n$,则在给定 $T$ 的取值后,
对任意的一组
$x_1,x_2,\cdots ,x_n\left({\sum }_{i=1}^n{x}_i=t\right)$, 有
$$\begin{array}{rl}& P\left(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n\mid T=t\right)\\ =& \frac{P\left(X_1=x_1,X_2=x_2,\cdots ,X_{n-1}=x_{n-1},X_n=t-{\sum }_{i=1}^{n-1}{x}_i\right)}{P\left({\sum }_{i=1}^n{X}_i=t\right)}\\ =& \frac{{\prod }_{i=1}^{n-1}P\left(X_i=x_i\right)\cdot P\left(X_n=t-{\sum }_{i=1}^{n-1}{x}_i\right)}{\left(\begin{array}{l}n\\ t\end{array}\right){\theta }^i(1-\theta {)}^{n-t}}\\ =& \frac{{\prod }_{i=1}^{n-1}{\theta }^{x_i}(1-\theta {)}^{1-x_i}\cdot {\theta }^{t-{\sum }_{i=1}^{n-1}{x}_i}(1-\theta {)}^{1-i+{\sum }_{i=1}^{n-1}{x}_i}}{{\theta }^n{t}^n{\theta }^t(1-\theta {)}^{n-t}}\\ =& \frac{{\theta }^i(1-\theta {)}^{n-t}}{\left(\begin{array}{l}n\\ t\end{array}\right){\theta }^i(1-\theta {)}^{n-t}}=(\begin{array}{l}n\\ t\end{array}\end{array}$$