充分统计量和因子分解定理

充分统计量

• 定义： 设样本$X$的服从分布$f(X|\theta )$，$\theta \in \Theta$，设$T=T(X)$为一统计量，若在已知$T$的条件下，样本$X$的条件分布与参数$\theta$无关，则称$T=T(X)$为$\theta$的充分统计量

• Example：
  设$X=(x_1,x_2,..,x_n)$是从泊松分布$P(\lambda )$中抽取的随机样本，下面将从定义出发证明$T(X)={\sum }_{i=1}^n{x}_i$是$\theta$的充分统计量

  $\because x_i\sim P(\lambda )，\therefore {\sum }_{i=1}^n{x}_i\sim P(n\lambda )$，我们将其记为 $T\sim P(\theta ),\theta =n\lambda$
  由已知可得，样本的条件分布为$$f(X|\lambda )=\prod _{i=1}^n\frac{e^{-\lambda }{\lambda }^{x_i}}{x_i!}=\frac{e^{-n\lambda }{\lambda }^{{\sum }_{i=1}^n{x}_i}}{{\prod }_{i=1}^n{x}_i!}=\frac{e^{-\theta }(\frac{\theta }{n}{)}^T}{{\prod }_{i=1}^n{x}_i!}$$
  此时样本$X$的条件分布$f(X|\lambda )$与参数$\lambda$无关，因此$T(X)={\sum }_{i=1}^n{x}_i$是$\theta$的充分统计量

因子分解定理

• 从定义出发证明充分统计量显得有些繁琐，因此我们引入因子分解定理

• 定义： 设样本$X=(x_1,x_2,..,x_n)$的条件分布为$f(X|\theta )$，$\theta \in \Theta$，$T=T(X)$为一统计量，则$T=T(X)$是充分统计量的充分必要条件为条件分布为$f(X|\theta )$可被分解为如下形式：$$f(X|\theta )=g(T(X),\theta )\cdot h(X)$$也就是可被分解为两部分，一部分仅与$T(X)$和$\theta$有关，另一部分为一个常数或仅与样本$X$有关。

• 重要推论： 若$T=T(X)$是充分统计量，$S=g(T)$是$T$一一对应的变换，则$S$也是$\theta$的充分统计量

• Example：
  证明以下命题：设$X=(x_1,x_2,..,x_n)$为从正态总体$N(a,{\sigma }^2)$中抽取的随机样本，令$\theta =(a,{\sigma }^2)$，则$T(X)=(\sum x_i，\sum x_i^2)$为充分统计量，且$(\overline{X},S^2)$也是充分统计量，此处$\overline{X}=\frac{1}{n}\sum x_i,S^2=\frac{1}{n-1}\sum (x_i-\overline{X}{)}^2$

  由已知得，样本的条件分布为
  $$\begin{array}{rl}f(x)& =(\frac{1}{\sqrt{2\pi }\sigma }{)}^n\exp (-\frac{1}{2{\sigma }^2}\sum (x_i-a{)}^2)\\ & =(\frac{1}{\sqrt{2\pi }\sigma }{)}^n\exp (-\frac{1}{2{\sigma }^2}(\sum x_i^2-2a\sum x_i+n{a}^2))\\ & =g(T(X),\theta )\cdot h(X)\end{array}$$
  此处的$h(X)\equiv 1$，至此，$T(X)=(\sum x_i，\sum x_i^2)$为充分统计量得证，又因为$(\overline{X},S^2)$为$T(X)=(\sum x_i，\sum x_i^2)$一一对应的变换，由推论可得，$(\overline{X},S^2)$也是充分统计量

理解：

• 充分统计量对于简化计算是有显著的帮助的
• 一一对应的变换可理解为一个函数
• 样本的条件分布其实就是样本似然
• 无论是从定义出发证明充分统计量，还是通过因子分解定理，都需要先求出样本的条件分布，然后再选择一种方法
• 从定义出发证明需要想方设法消除式子中原来的参数