点估计的有效性

点估计的有效性

设$T_1(x_1,x_2,...,x_n)$和$T_2(x_1,x_2,...,x_n)$是$\theta$的无偏估计量,如果对于一切的$\theta \in \Theta$有$Va{r}_{\theta }(T_1(x))\le Va{r}_{\theta }(T_2(x))$,称估计量$T_1$比$T_2$更有效

一致最小方差无偏估计

设全体无偏估计组成的集合为$U_q$

如果存在无偏估计$T(x)\in U_q$,使得对于任意的$S(x)\in U_q$,有$D(T(x))\le D(S(x))$

称为一致最小方差无偏估计,简称为UMVUE(Uniformly Minimum Variance Unbiased Estimate)

一致最小方差线性无偏估计

要求 无偏估计必须是线性函数

解法 转化为条件极值

设$T={\Sigma }_{i=1}^n{a}_i{x}_i$,由于$T$是无偏的,所以${\Sigma }_{i=1}^n{a}_i=1$

$D(T)={\Sigma }_{i=1}^n{a}_i^{2}D(x_i)={\sigma }^2{\Sigma }_{i=1}^n{a}_i^2$

构建拉格朗日函数后分别对每个$a_i$求导,得出$a_i=\frac{1}{n}$,及$T=\bar{x}$

零无偏定理

假设$V,T$都是由样本构建的统计量

记 U = { T : E θ ( T ) = θ , E θ ( T 2 ) < ∞ , θ ∈ I } U=\{T:E_\theta(T)=\theta,E_\theta(T^2)<\infty,\theta\in I\} U={T:Eθ​(T)=θ,Eθ​(T2)<∞,θ∈I},也就是所有的无偏估计组成的集合,并且二阶矩存在(方差存在 二阶矩一定存在)

U 0 = { V : E θ ( V ) = 0 , E θ ( V 2 ) < ∞ , θ ∈ I } U_0=\{V:E_\theta(V)=0,E_\theta(V^2)<\infty,\theta\in I\} U0​={V:Eθ​(V)=0,Eθ​(V2)<∞,θ∈I}

如果$T_0$是$\theta$的一个最小方差无偏估计,充要条件是$E_{\theta }(V{T}_0)=0$,对于一切的$\theta \in I,V\in U_0$

相当于$V\in U_0,V{T}_0\in U_0$

做题的方式:

用定义把$E(V)=0$写出来,然后对于所需要的估计量进行求导,就会出现$Vf(x,\theta ),$,通过一些变形,将$f(x,\theta )$中的未知参数分离出去就得
到了我们的$T$

或者我们已经知道了最小无偏估计,然后再证明$E(VT)=0$.但感觉做起来就是折磨。

信息不等式

抽样样本里面将会含有未知参数的信息,通过样本的信息反推出未知参数

如果UMVUE存在,则它在无偏估计类中是最好的,且其方差不可能为0,因为$q(\theta )$的方差为0的平凡估计不是无偏估计,所以存在下界(荒谬估计)

设分布族为 { P θ , θ ∈ Θ } \{P_\theta,\theta\in \Theta\} {Pθ​,θ∈Θ},密度函数为$p(x,\theta )$,$\Theta$是直线上的一个开区间

C-R正则族满足条件

(1) 支撑 A = { x : p ( x , θ ) > 0 } A=\{x:p(x,\theta)>0\} A={x:p(x,θ)>0}与$\theta$无关,也就是任何时候概率大于0的集合和参数无关,且对于$\frac{\partial }{\partial \theta }lnp(x,\theta )$存在

(2)对于所有的$\theta \in \Theta ,T(x)$是满足$E_{\theta }(T)<\infty$的任一统计量,则$T(x)L(x,\theta )$中积分和微分可以交换顺序

(3)对于密度函数,积分和微分也可以交换顺序

定义信息量$I(\theta )=E(\frac{\partial }{\partial \theta }lnp(x,\theta ){)}^2,0<I(\theta )<\infty$

等价表达式$I(\theta )=-E(\frac{{\partial }^{2}lnf(x,\theta )}{\partial {\theta }^2})$

定理

设$T(x)$是对所有$\theta \in \Theta$满足$D_{\theta }(T(x))<\infty$的统计量,记$\phi (\theta )=E_{\theta }(T(x))$,如果分布族是C-R正则族,且$0<I(\theta )<\infty$,且对于所有的$\theta \in \Theta ,\phi (\theta )$是可微的

有$D_{\theta }(T(x))\ge \frac{({\phi }^{\prime }(\theta ){)}^2}{nI(\theta )}$

证明:
$\phi (\theta )={\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{+\infty }T(x)L(x,\theta )d{x}_1...d{x}_n$

${\phi }^{\prime }(\theta )={\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{+\infty }T(x)\frac{\partial L(x,\theta )}{\partial \theta }d{x}_1...d{x}_n$

又$(lnL{)}^{\prime }=\frac{1}{L}{L}^{\prime }\Rightarrow L^{\prime }=L(lnL{)}^{\prime }$

${\phi }^{\prime }(\theta )={\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{+\infty }T(x)\frac{\partial lnL(x,\theta )}{\partial \theta }L(x,\theta )d{x}_1...d{x}_n=E[T(x)\frac{\partial lnL(x,\theta )}{\partial \theta }]$

${\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{+\infty }L(x,\theta )d{x}_1...d{x}_n=1$

对两边同时求导

${\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{+\infty }\frac{\partial L(x,\theta )}{\partial \theta }d{x}_1...d{x}_n=0\iff {\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{+\infty }\frac{\partial lnL(x,\theta )}{\partial \theta }L(x,\theta )d{x}_1...d{x}_n=0$

所以有$E(\frac{\partial lnL(x,\theta )}{\partial \theta })=0$

$Cov(T,\frac{\partial lnL(x,\theta )}{\partial \theta })=E(T(x)\frac{\partial lnL(x,\theta )}{\partial \theta })-E(T(x))E(\frac{\partial lnL(x,\theta )}{\partial \theta })=E(T(x)\frac{\partial lnL(x,\theta )}{\partial \theta })$

又$|Cov(x,y)|\le \sqrt{D(x)D(y)}$,即$E(T(x)\frac{\partial lnL(x,\theta )}{\partial \theta })\le \sqrt{D(T(x))}\sqrt{D(\frac{\partial lnL(x,\theta )}{\partial \theta })}$

同时平方然后变形有:$D(T(x))\ge \frac{({\phi }^{\prime }(\theta ){)}^2}{D(\frac{\partial lnL(x,\theta )}{\partial \theta })}$

又$D(x)=E(x^2)-E^2(x),D(\frac{\partial lnL(x,\theta )}{\partial \theta })=E(\frac{\partial lnL(x,\theta )}{\partial \theta }{)}^2=nI(\theta )$

所以$D(T(x))\ge \frac{({\phi }^{\prime }(\theta ){)}^2}{nI(\theta )}$

达到了下界的方差为有效估计