UA MATH566 统计理论1 充分统计量

指数族

$X\sim f(x|\theta )$，$\theta \in \Theta$是指数族分布如果
$$f(x|\theta )=h(x)e^{Q^T(\theta )T(x)-b(\theta )}$$
其中$h(x)$是非负可测函数，$b(\theta )$被称为势函数，如果$[1;Q(\theta )]$与$[1;T(x)]$分别线性无关，称其为极小、满秩的指数族。判断一个分布是否属于指数分布族只需要看概率密度能不能写成这个形式，比如正态分布
f ( x ) = 1 2 π σ exp ⁡ { − ( x − μ ) 2 2 σ 2 } = exp ⁡ { − 1 2 σ 2 x 2 + μ σ 2 x − ( μ 2 2 σ 2 + ln ⁡ 2 π σ 2 ) } f(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp{\{-\frac{(x-\mu)^2}{2\sigma^2}\}}=\exp{\{-\frac{1}{2\sigma^2}x^2 + \frac{\mu}{\sigma^2}x-(\frac{\mu^2}{2\sigma^2}+\ln \sqrt{2\pi\sigma^2})\}} f(x)=2π ​σ1​exp{ −2σ2(x−μ)2​}=exp{ −2σ21​x2+σ2μ​x−(2σ2μ2​+ln2πσ2 ​)}
对应的那些函数是
$$h(x)=1,T(x)=[x^2,x{]}^T,Q(\theta )=[-\frac{1}{2{\sigma }^2},\frac{\mu }{{\sigma }^2}{]}^T,b(\theta )=\frac{{\mu }^2}{2{\sigma }^2}+\ln \sqrt{2\pi {\sigma }^2}$$

自然形式

如果$Q(\theta )$正好等于state-of-nature，也就是分布的自然参数$\theta$，这种指数分布族叫自然形式的指数分布族。
$$f(x|\theta )=h(x)e^{{\theta }^{T}T(x)-b(\theta )}$$
如果$[1;T(x)]$线性无关，它就是极小、满秩的指数族，此时参数空间$\Theta$被称为是分布族的自然参数空间。

充分统计量

一组简单随机样本$X_1,\cdots ,X_n\sim f(x|\theta )$，根据其含义是可以用来表示分布的整体信息的。但这种表示方法维数是$n$，样本量非常大之后要想直接用来计算是非常困难的。假设$X$是概率空间$(\mathcal{X},\mathcal{B}(\mathcal{X}),P_X)$上的随机变量，$\mathcal{X}\subset {\mathbb{R}}^n$。使用某种统计量$T(X)$来代替 X = { X 1 , ⋯   , X n } X=\{X_1,\cdots,X_n\} X={ X1​,⋯,Xn​}对分布信息进行表示，其意义是对信息表示方式进行降维：$T(X):\mathcal{X}\to \mathcal{T}\subset {\mathbb{R}}^k，k<n$，其中$T$是可测函数。显然$T(X)$是一个由复合函数定义的在概率空间$(\mathcal{X},\mathcal{B}(\mathcal{X}),P_X)$上的随机变量，非常自然地会想到既然做了降维，那么$T(X)$的概率空间也是可以一并缩小的。假设$T(X)$定义在$(\mathcal{T},\mathcal{B}(\mathcal{T}),P_T)$上，则$T$是可测函数意味着$\forall B\in \mathcal{B}(\mathcal{T}),T^{-1}(B)\in \mathcal{B}(\mathcal{X})$，从而导出测度$P_T$可以表示为$P_T(B)=P_X(T^{-1}(B))$。这个关系可以用示性函数的积分表示：
$${\int }_{\mathcal{T}}{I}_B(t)d{P}_T={\int }_{\mathcal{X}}{I}_{T^{-1}(B)}(x)d{P}_X$$
有了这个关系，可以将这个积分形式推广到简单可测函数，再进一步推广到一般可测函数，从而对可测函数$m(t)$
$${\int }_{B}m(t)d{P}_T={\int }_{T^{-1}(B)}m(T(x))d{P}_X$$
通常我们希望降维不会导致信息损失，也就是$T(X)$也可以描述分布整体信息，满足这种条件的统计量叫充分统计量，严格定义就是
$$\forall A\in \mathcal{B}(\mathcal{X}),P_X(A|T(X)=t)与\theta 无关$$
直接用定义判断统计量是否为充分统计量只需要计算$f(x|t)$并判断是否与$\theta$无关即可，这种方法叫直接法，下面举三个例子。（所有例子的答案在下一篇博文）

例1.1 $X_1,\cdots ,X_n{\sim }_{iid}Ber(\theta )$，验证$T(X)={\sum }_{i=1}^n{X}_i$是充分统计量。

例1.2 $X_1,\cdots ,X_n{\sim }_{iid}U(0,\theta )$，验证$T(X)=X_{(n)}$是充分统计量。

例1.3 $X_1,\cdots ,X_n{\sim }_{iid}\Gamma ({\alpha }_0,\beta )$，${\alpha }_0$是已知量，验证$T(X)={\sum }_{i=1}^n{X}_i$是充分统计量。

Neyman-Fisher因子分解定理

直接法只能用于判断统计量是否是充分统计量，不能用来构造充分统计量。要实现这个功能可以用Neyman-Fisher因子分解定理：
$$T(X)是充分统计量的充要条件是$$