数理统计复习笔记二——充分统计量

一、背景

统计量的引入是为了简化样本的繁杂，但所使用的统计量是否把样本中关于感兴趣问题的信息全部吸收进来了？这就引出充分统计量的概念。它是Fisher正式提出的，其思想源于他和Eddington关于估计标准差的争论。

二、定义

对于某分布族 F = { F θ ( x ) : θ ∈ Θ } \mathcal F=\{F_\theta(x):\theta\in\Theta\} F={Fθ​(x):θ∈Θ}，$\forall F\in \mathcal{F}$，设$X_1,\cdots ,X_n$是来自$F$的样本，$T=T(X_1,\cdots ,X_n)$是一统计量，如在给定$T=t$下，样本$(X_1,\cdots ,X_n)$的条件概率分布与总体分布$F$或参数$\theta$无关，则称统计量$T$是此分布族$\mathcal{F}$的充分统计量，也称统计量$T$是参数$\theta$的充分统计量。

• 对于连续型随机变量，其概率分布为概率密度函数；对于离散型随机变量，其概率分布为累积分布函数
• 充分统计量$T$可以是向量，但不一定与参数的维度相同
• 如果统计量$T$是参数$\theta$的充分统计量，且$S(t)$是单值可逆的，则$S(T)$也是$\theta$的充分统计量

三、因子分解定理

对于分布族 F = { F θ ( x ) : θ ∈ Θ } \mathcal F=\{F_\theta(x):\theta\in\Theta\} F={Fθ​(x):θ∈Θ}，设$X_1,\cdots ,X_n$是一组IID样本，$T$是一统计量，则$T$的$\theta$的充分统计量的充要条件是：其样本分布$f_{\theta }(x_1,\cdots ,x_n)$可做如下分解：$$f_{\theta }(x_1,\cdots ,x_n)=g_{\theta }(T(x_1,\cdots ,x_n))\cdot h(x_1,\cdots ,x_n)$$
其中，$h(\mathbf{x})$不依赖于参数$\theta$

证明：

给出离散情况下的证明：
此时 f θ ( x 1 , ⋯   , x n ) = P { X 1 = x 1 , ⋯   , X n = x n } f_\theta(x_1, \cdots, x_n)=P\{X_1=x_1, \cdots,X_n=x_n\} fθ​(x1​,⋯,xn​)=P{X1​=x1​,⋯,Xn​=xn​}，对于给定的$t$，定义 A ( t ) = { ( x 1 , ⋯   , x n ) : T ( x 1 , ⋯   , x n ) = t } A(t)=\{(x_1, \cdots, x_n): T(x_1, \cdots, x_n)=t\} A(t)={(x1​,⋯,xn​):T(x1​,⋯,xn​)=t}

$\cdot$ 充分性：对于给定当前样本值$\mathbf{x}$，当$\mathbf{x}\notin A(t)$时， P { X = x ∣ T = t } = 0 P\{ \bm X=\bm x|T=t\}=0 P{X=x∣T=t}=0与参数$\theta$无关；当$\mathbf{x}\in A(t)$时，有 P { X = x ∣ T = t } = P { X = x , T = t } P θ { T = t } = P { X = x } P θ { T = t } = g θ ( t ) h ( x ) ∑ y ∈ A ( t ) g θ ( t ) h ( y ) = h ( x ) ∑ y ∈ A ( t ) h ( y ) P\{ \bm X=\bm x|T=t\}=\frac{P\{ \bm X=\bm x, T=t\}}{P_\theta\{T=t\}}=\frac{P\{ \bm X=\bm x\}}{P_\theta\{T=t\}}=\frac{g_\theta(t)h(x)}{\sum\limits_{\bm y\in A(t)}g_\theta(t)h(\bm y)}=\frac{h(x)}{\sum\limits_{\bm y\in A(t)}h(\bm y)} P{X=x∣T=t}=Pθ​{T=t}P{X=x,T=t}​=Pθ​{T=t}P{X=x}​=y∈A(t)∑​gθ​(t)h(y)gθ​(t)h(x)​=y∈A(t)∑​h(y)h(x)​，与参数$\theta$无关
$\cdot$ 必要性：设$T$是充分统计量，由定义可知 P { X = x ∣ T = t } P\{ \bm X=\bm x|T=t\} P{X=x∣T=t}与参数$\theta$无关，则它只能是$\mathbf{x}$的函数，我们记之为$h(\mathbf{x})$，对于给定的$t$和$\mathbf{x}\in A(t)$，我们有 P θ { X = x } = P { X = x ∣ T = t } P θ { T ( x ) = t } = g θ ( t ) h ( x ) P_\theta\{\bm X=\bm x\}=P\{ \bm X=\bm x|T=t\}P_\theta\{T(\bm x)=t\}=g_\theta(t)h(\bm x) Pθ​{X=x}=P{X=x∣T=t}Pθ​{T(x)=t}=gθ​(t)h(x)

四、例子

1. 均匀分布$U(0,\theta )$的充分统计量： T = max ⁡ { X 1 , ⋯   , X n } = X ( n ) T=\max\{X_1,\cdots,X_n\}=X_{(n)} T=max{X1​,⋯,Xn​}=X(n)​
2. 正态分布$N(\mu ,{\sigma }^2)$的充分统计量：$$T=(\overline{X},\sum _{i=1}^n(X_i-\overline{X}{)}^2)$$
3. 伯努利分布$b(1,p)$的充分统计量：$$T_1=(X_1,\cdots ,X_n)$$$$T_2=(X_1+X_2,\cdots ,X_n)$$$$\cdots \cdots \cdots$$$$T_n=X_1+\cdots +X_n$$
4. 柏松分布$P(\lambda )$的充分统计量：$$T=\sum _{i=1}^n{X}_i$$