05.第二章 抽样分布及若干预备知识(4)

第二章 抽样分布及预备知识(4)

1.极限分布

极限分布：当样本容量$n$趋向于无穷时，统计量的分布趋向于一个确定分布，这个确定分布便称为统计量的极限分布，也常称为大样本分布。样本容量$n\to \infty$时的性质称为大样本性质。

大样本性质与小样本性质的区别不在于样本个数的多杀，而在于是否是在$n\to \infty$的前提下考虑。

2.指数族的判定

指数族：设 F = { f ( x , θ ) : θ ∈ Θ } \mathscr F=\{f(\boldsymbol x,\theta):\theta\in\Theta\} F={f(x,θ):θ∈Θ}是定义在样本空间$\mathcal{X}$上的分布族，其中$\Theta$为参数空间。如果概率函数或分布列$f(x,\theta )$可以表示成以下形式：
f ( x , θ ) = C ( θ ) exp { ∑ i = 1 k Q i ( θ ) T i ( x ) } h ( x ) f(\boldsymbol x,\theta)=C(\theta)\text{exp}\{\sum_{i=1}^kQ_i(\theta)T_i(\boldsymbol x)\}h(\boldsymbol x) f(x,θ)=C(θ)exp{i=1∑k​Qi​(θ)Ti​(x)}h(x)
则此分布族被称为指数型分布族，其中$k$为正整数，$C(\theta ),Q_i(\theta )$都是定义在参数空间$\Theta$上的函数，$h(\mathbf{x})$和$T_i(\mathbf{x})$都是定义在样本空间$\mathcal{X}$上的函数。注意：是面对样本空间的函数，而非总体的函数。（但如果把样本容量设置为1，表现形式也与总体函数类似）

指数族的一个重要性质是，所有分布拥有共同的支撑集（支撑集是密度函数不为0的点构成的集合）。如果一个分布族支撑集与参数有关，那它就一定不是指数族。

常见的指数族：

• 正态分布族$N(a,{\sigma }^2)$：$\theta =(a,{\sigma }^2)$
  $$\begin{array}{rl}f(\mathbf{x};a,{\sigma }^2)=& {\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^n\text{exp}\left\{-\frac{{\sum }_{i=1}^n(x_i-a{)}^2}{2{\sigma }^2}\right\}\\ =& (\sqrt{2\pi }\sigma {)}^{-n}\text{exp}\left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{a}{{\sigma }^2}\sum _{i=1}^n{x}_i-\frac{a^2}{2{\sigma }^2}\right\}\\ =& (\sqrt{2\pi }\sigma {)}^{-n}{e}^{-a^2/2{\sigma }^2}\text{exp}\left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{x}_i^2+\frac{a}{{\sigma }^2}\sum _{i=1}^n{x}_i\right\}\end{array}$$
  此时令$C(\theta )=(\sqrt{2\pi }\sigma {)}^{-n}{e}^{-a^2/2{\sigma }^2},h(\mathbf{x})=1$即可。

• $\Gamma$分布族$\Gamma (\alpha ,\lambda )$：$\theta =(\alpha ,\lambda )$
  $$\begin{array}{rl}f(\mathbf{x};\alpha ,\lambda )=& {\left(\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}\right)}^n\left(\prod _{i=1}^n{x}_i^{\alpha -1}\right)e^{-\lambda {\sum }_{i=1}^n{x}_i}\\ =& \frac{{\lambda }^{\alpha n}}{[\Gamma (\alpha ){]}^n}\text{exp}\left\{-\lambda \sum _{i=1}^n{x}_i\right\}{\left(\prod _{i=1}^n{x}_i\right)}^{\alpha -1}\end{array}$$
  此时令$C(\theta )=\frac{{\lambda }^{\alpha n}}{[\Gamma (\alpha ){]}^n},h(\mathbf{x})=({\prod }_{i=1}^n{x}_i{)}^{\alpha -1}$即可。由于$\Gamma$分布族属于指数族，依赖于它的指数分布族、${\chi }^2$分布族也是指数族。

• 二项分布族$b(n,\theta )$：此时参数仅仅为$\theta$，将$n$视为定值，考虑单样本情形
  P { X = x } = C n x θ x ( 1 − θ ) 1 − x f ( x ; θ ) = C n x θ x ( 1 − θ ) n − x = ( 1 − θ ) n exp { x ln θ 1 − θ } C n x \mathbf P\{X=x\}=C_n^{x}\theta^{x}(1-\theta)^{1-x}\\ \begin{aligned} f(x;\theta) =C_n^x&\theta^x(1-\theta)^{n-x}\\ =&(1-\theta)^n\text{exp}\left\{x \text{ln}\frac{\theta}{1-\theta}\right\}C_n^x \end{aligned} P{X=x}=Cnx​θx(1−θ)1−xf(x;θ)=Cnx​=​θx(1−θ)n−x(1−θ)nexp{xln1−θθ​}Cnx​​
  此时令$C(\theta )=(1-\theta {)}^n,h(x)=C_n^x$即可。注意：样本分布组是否为指数族，不依赖于样本大小$n$。

• 泊松分布族$P(\theta )$：
  f ( x ; θ ) = P { X = x } = θ x x ! e − θ = e − θ exp { x ln θ } 1 x ! \begin{aligned} f(x;\theta)=&\mathbf P\{X=x\}\\ =&\frac{\theta^x}{x!}e^{-\theta}\\ =&e^{-\theta}\text{exp}\left\{ x\text{ln}\theta\right\}\frac{1}{x!} \end{aligned} f(x;θ)===​P{X=x}x!θx​e−θe−θexp{xlnθ}x!1​​
  此时令$C(\theta )=e^{-\theta },h(x)=\frac{1}{x!}$即可。

指数族的自然形式：采取适当的参数变换，将$e$的指数部分的含参函数$Q_i(\theta )$置换成单参数${\phi }_i$，就成为指数族的自然形式。

指数族的性质：

• 在指数自的自然形式下，自然参数空间为凸集。凸集指的是$\forall {\theta }_1,{\theta }_2\in \Theta ,\alpha \in [0,1]$，有$\alpha {\theta }_1+(1-\alpha ){\theta }_2\in \Theta$。
• 指数族的自然形式关于其参数的任意阶偏导数可以在积分号下求得，即求导与积分可交换。

3.充分统计量

充分统计量：对于统计量$T(\mathbf{X})$，如果它保留了样本$\mathbf{X}$中包含参数$\theta$的全部信息，则称此统计量为充分的。即——在已知$T=T(\mathbf{X})$的情况下，样本$\mathbf{X}$的条件分布与参数$\theta$无关。所谓的条件分布，离散情形下是条件概率，连续情形下是条件密度。

• 计算条件概率，经常会使用$\mathbf{P}(B|A)=\frac{\mathbf{P}(AB)}{\mathbf{P}(A)}$。
• 计算条件密度，会使用公式$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$。

利用定义证明某个统计量是充分统计量稍嫌麻烦，因此有因子分解定理可以用来寻找充分统计量。

因子分解定理：设样本$\mathbf{X}=(X_1,\cdots ,X_n)$的概率函数$f(\mathbf{x},\theta )$依赖于参数$\theta$，$T=T(\mathbf{X})$是一个统计量。则$T$是充分统计量的充要条件是
$$f(\mathbf{x},\theta )=g(t(\mathbf{x}),\theta )h(\mathbf{x})$$
这里$h(\mathbf{x})$不依赖于参数$\theta$，$t(\mathbf{x})$的统计量$T(\mathbf{X})$的观察值。

• 如果$\phi$是单值可逆函数，$T$是充分统计量，则$\phi (T)$也是充分统计量。
• 指数族 f ( x , θ ) = C ( θ ) exp { ∑ i = 1 k Q i ( θ ) T i ( x ) } h ( x ) f(\boldsymbol x,\theta)=C(\theta)\text{exp}\{\sum_{i=1}^kQ_i(\theta)T_i(\boldsymbol x)\}h(\boldsymbol x) f(x,θ)=C(θ)exp{∑i=1k​Qi​(θ)Ti​(x)}h(x)中，显然 { T i ( X ) } \{T_i(\boldsymbol X)\} {Ti​(X)}是充分统计量。
• 对任何一维分布族，次序统计量是充分的。

极小充分统计量：设$T$是分布族$\mathcal{F}$的充分统计量，若对任意充分统计量$S$，存在一个函数$q_S(\cdot )$使得$T=q_S(S)$，则称$T(X)$是此分布族的极小充分统计量。这里用函数定义极小，是因为函数的输出端维数总小于输入端。

4.完全统计量

完全统计量：设 F = { f ( x , θ ) , θ ∈ Θ } \mathscr F=\{f(x,\theta),\theta\in \Theta\} F={f(x,θ),θ∈Θ}是一个分布族，$T=T(\mathbf{X})$是任一统计量，若对任何满足条件$E_{\theta }\phi (T(X))=0$的函数$\phi$，都有$P_{\theta }(\phi (T(X))=0)=1$，则称此统计量是完全的。如果统计量$T$的概率密度函数为$g_{\theta }(t)$，则$E_{\theta }\phi (T(X))=0$可以写成
$${\int }_{-\infty }^{\infty }\phi (t)g_{\theta }(t)dt=0$$
直观看来，就是函数$\phi (t)$与密度函数$g_{\theta }(t)$正交。如果对任意正交函数$\phi (t)$，可以推出$\phi (t)=0$的概率为1，则称统计量$T$是完全的。

对于一般分布族，用定义验证较为麻烦，但如果是指数族，对于自然形式
$$f(\mathbf{x},\mathbf{\theta })=C(\mathbf{\theta })\text{exp}\left\{\sum _{i=1}^k{\theta }_i{T}_i(\mathbf{x})\right\}h(\mathbf{x}),\mathbf{\theta }=({\theta }_1,\cdots ,{\theta }_k)\in {\Theta }^{\ast }$$
而言，只要自然参数空间${\Theta }^{\ast }$有内点，那么$T(\mathbf{X})$就是完全统计量。

如果要证明一个统计量不是完备的，就只要找到一个实函数，使得$E_{\theta }\phi (T)=0$，但$\phi (T)=0\text{ a.s.}{P}_{\theta }$不成立即可。

有界完全统计量是对完全统计量约束的放宽，完全统计量要求任何正交函数$\phi (t)=0$，而有界完全统计量只需要有界正交函数$\phi (t)=0$即可。因此完全统计量一定是有界完全统计量，反之不一定对。

Basu定理给定了一个判断统计量之间独立性的依据，若$T(\mathbf{X})$是有界完全统计量又是充分统计量，$V(\mathbf{X})$的分布与参数无关，则对任何$\theta \in \Theta$，$T(\mathbf{X})$与$V(\mathbf{X})$独立。对于指数族，则有$V(\mathbf{X})$的分布与$T(\mathbf{X})$无关。