充分统计量，因子分解定理与Rao-Blackwewll定理

充分统计量

充分统计量的一种定义是：数据为$X^n$，如果给定充分统计量的一组取值$T(X^n=x^n)=t$，能够使得数据的分布不依赖于参数$\theta$，则$T$是充分统计量。

粗略的说，如果已经知道$T(x^n)$就可以计算似然函数，则该统计量是充分的。

例子

$X=(X_1,X_2)\sim Bernoulli(p)$，充分统计量是$T=X_1+X_2$。原因是给定任意T的取值，都可以知道数据的分布，而不依赖于参数$p$。

$T=0$时，两个数据取0的概率为1，其他为0。$T=1$，时，两者取1另一个取0的概率各自为0.5，其他情况为0。当$T=2$时，两者取1的概率为1，其他情况为0。

倘若统计量$T=X_1$，则不是充分统计量。例如当$T=0$时，只知道$X_1$取1的概率为0，而$X_2$取1的概率是参数$p$。

因子分解定理

$T$是充分统计量当且仅当存在$g(t,\theta )$和$h(x)$使得:$$f(x^n;\theta )=g(t(x^n),\theta )h(x^n)$$.
将此定理应用于上面的例子，首先把似然函数写出来：
$$\begin{array}{rl}f(X;\theta )& =f(x_1;\theta )f(x_2;\theta )\\ & ={\theta }^{x_1+x_2}(1-\theta {)}^{2-x_1-x_2}\end{array}$$令统计量$T=X_1+X_2$，则成为$$f(X;\theta )={\theta }^t(1-\theta {)}^{2-t}$$此时，$g(t(x^n),\theta )={\theta }^t(1-\theta {)}^{2-t}$而$h(x)=1$。因此，$T$是充分统计量。

Rao-Blackwell定理

这个定理指出，一个估计应该依赖于充分统计量，否则从MSE的角度上可以被改进。

令$\hat{\theta }$为估计，$T$为充分统计量。定义估计
$${\theta }_{new}=E[\hat{\theta }|T]$$则对任意$\theta$，有$R(\theta ,{\theta }_n)\le R(\theta ,\hat{\theta })$.

应用于抛两枚硬币的问题，首先假设$\hat{\theta }=X_1$，$E[X_1]=p$是一个无偏估计。定义充分统计量$T=X_1+X_2$，则由Rao-Blackwell定理就可以得到：
$$\begin{array}{rl}{\theta }_n& =E[\hat{\theta }|T]=0\times P(X=0|T=t)+1\times P(X=1|T=t)\\ & =P(X_1=1|T=t)\\ & =\frac{P(X_1=1,T=t)}{P(T=t)}\\ & =\frac{P(X_1=1,X_2=t-1)}{P(T=t)}=\frac{P(X_1=1)P(X_2=t-1)}{P(X_1+X_2=t)}\\ & =\frac{p\cdot C_1^{t-1}{p}^{t-1}(1-p{)}^{1-(t-1)}}{C_2^t{p}^t(1-p{)}^{2-t}}\\ & =\frac{C_1^{t-1}}{C_2^t}=\frac{t}{2}=\frac{X_1+X_2}{2}\end{array}$$得到了一个估计${\theta }_n=\frac{X_1+X_2}{2}$，其MSE会比$\hat{\theta }=X_1$更小。