点估计的有效性
设 T 1 ( x 1 , x 2 , . . . , x n ) T_1(x_1,x_2,...,x_n) T1(x1,x2,...,xn)和 T 2 ( x 1 , x 2 , . . . , x n ) T_2(x_1,x_2,...,x_n) T2(x1,x2,...,xn)是 θ \theta θ的无偏估计量,如果对于一切的 θ ∈ Θ \theta\in \Theta θ∈Θ有 V a r θ ( T 1 ( x ) ) ≤ V a r θ ( T 2 ( x ) ) Var_\theta(T_1(x))\leq Var_\theta(T_2(x)) Varθ(T1(x))≤Varθ(T2(x)),称估计量 T 1 T_1 T1比 T 2 T_2 T2更有效
一致最小方差无偏估计
设全体无偏估计组成的集合为 U q U_q Uq
如果存在无偏估计 T ( x ) ∈ U q T(x)\in U_q T(x)∈Uq,使得对于任意的 S ( x ) ∈ U q S(x)\in U_q S(x)∈Uq,有 D ( T ( x ) ) ≤ D ( S ( x ) ) D(T(x))\leq D(S(x)) D(T(x))≤D(S(x))
称为一致最小方差无偏估计,简称为UMVUE(Uniformly Minimum Variance Unbiased Estimate)
一致最小方差线性无偏估计
要求 无偏估计必须是线性函数
解法 转化为条件极值
设 T = Σ i = 1 n a i x i T = \Sigma_{i=1}^n a_ix_i T=Σi=1naixi,由于 T T T是无偏的,所以 Σ i = 1 n a i = 1 \Sigma_{i=1}^na_i=1 Σi=1nai=1
D ( T ) = Σ i = 1 n a i 2 D ( x i ) = σ 2 Σ i = 1 n a i 2 D(T) = \Sigma_{i=1}^n a_i^2D(x_i)=\sigma^2\Sigma_{i=1}^n a_i^2 D(T)=Σi=1nai2D(xi)=σ2Σi=1nai2
构建拉格朗日函数后分别对每个 a i a_i ai求导,得出 a i = 1 n a_i=\frac 1n ai=n1,及 T = x ˉ T=\bar x T=xˉ
零无偏定理
假设 V , T V,T V,T都是由样本构建的统计量
记 U = { T : E θ ( T ) = θ , E θ ( T 2 ) < ∞ , θ ∈ I } U=\{T:E_\theta(T)=\theta,E_\theta(T^2)<\infty,\theta\in I\} U={T:Eθ(T)=θ,Eθ(T2)<∞,θ∈I},也就是所有的无偏估计组成的集合,并且二阶矩存在(方差存在 二阶矩一定存在)
U 0 = { V : E θ ( V ) = 0 , E θ ( V 2 ) < ∞ , θ ∈ I } U_0=\{V:E_\theta(V)=0,E_\theta(V^2)<\infty,\theta\in I\} U0={V:Eθ(V)=0,Eθ(V2)<∞,θ∈I}
如果 T 0 T_0 T0是 θ \theta θ的一个最小方差无偏估计,充要条件是 E θ ( V T 0 ) = 0 E_\theta(VT_0)=0 Eθ(VT0)=0,对于一切的 θ ∈ I , V ∈ U 0 \theta\in I,V\in U_0 θ∈I,V∈U0
相当于 V ∈ U 0 , V T 0 ∈ U 0 V\in U_0,VT_0\in U_0 V∈U0,VT0∈U0
做题的方式:
用定义把
E
(
V
)
=
0
E(V)=0
E(V)=0写出来,然后对于所需要的估计量进行求导,就会出现
V
f
(
x
,
θ
)
,
Vf(x,\theta),
Vf(x,θ),,通过一些变形,将
f
(
x
,
θ
)
f(x,\theta)
f(x,θ)中的未知参数分离出去就得
到了我们的
T
T
T
或者我们已经知道了最小无偏估计,然后再证明 E ( V T ) = 0 E(VT)=0 E(VT)=0.但感觉做起来就是折磨。
信息不等式
抽样样本里面将会含有未知参数的信息,通过样本的信息反推出未知参数
如果UMVUE存在,则它在无偏估计类中是最好的,且其方差不可能为0,因为 q ( θ ) q(\theta) q(θ)的方差为0的平凡估计不是无偏估计,所以存在下界(荒谬估计)
设分布族为 { P θ , θ ∈ Θ } \{P_\theta,\theta\in \Theta\} {Pθ,θ∈Θ},密度函数为 p ( x , θ ) p(x,\theta) p(x,θ), Θ \Theta Θ是直线上的一个开区间
C-R正则族满足条件
(1) 支撑 A = { x : p ( x , θ ) > 0 } A=\{x:p(x,\theta)>0\} A={x:p(x,θ)>0}与 θ \theta θ无关,也就是任何时候概率大于0的集合和参数无关,且对于 ∂ ∂ θ l n p ( x , θ ) \frac {\partial }{\partial \theta} lnp(x,\theta) ∂θ∂lnp(x,θ)存在
(2)对于所有的 θ ∈ Θ , T ( x ) \theta\in \Theta,T(x) θ∈Θ,T(x)是满足 E θ ( T ) < ∞ E_\theta(T)<\infty Eθ(T)<∞的任一统计量,则 T ( x ) L ( x , θ ) T(x)L(x,\theta) T(x)L(x,θ)中积分和微分可以交换顺序
(3)对于密度函数,积分和微分也可以交换顺序
定义信息量 I ( θ ) = E ( ∂ ∂ θ l n p ( x , θ ) ) 2 , 0 < I ( θ ) < ∞ I(\theta)=E(\frac {\partial}{\partial \theta}lnp(x,\theta))^2,0<I(\theta)<\infty I(θ)=E(∂θ∂lnp(x,θ))2,0<I(θ)<∞
等价表达式 I ( θ ) = − E ( ∂ 2 l n f ( x , θ ) ∂ θ 2 ) I(\theta)=-E(\frac{\partial^2lnf(x,\theta)}{\partial\theta^2}) I(θ)=−E(∂θ2∂2lnf(x,θ))
定理
设 T ( x ) T(x) T(x)是对所有 θ ∈ Θ \theta\in \Theta θ∈Θ满足 D θ ( T ( x ) ) < ∞ D_\theta(T(x))<\infty Dθ(T(x))<∞的统计量,记 φ ( θ ) = E θ ( T ( x ) ) \varphi(\theta)=E_\theta(T(x)) φ(θ)=Eθ(T(x)),如果分布族是C-R正则族,且 0 < I ( θ ) < ∞ 0<I(\theta)<\infty 0<I(θ)<∞,且对于所有的 θ ∈ Θ , φ ( θ ) \theta\in \Theta,\varphi(\theta) θ∈Θ,φ(θ)是可微的
有 D θ ( T ( x ) ) ≥ ( φ ′ ( θ ) ) 2 n I ( θ ) D_\theta(T(x))\geq \frac{(\varphi'(\theta))^2}{nI(\theta)} Dθ(T(x))≥nI(θ)(φ′(θ))2
证明:
φ
(
θ
)
=
∫
−
∞
+
∞
.
.
.
∫
−
∞
+
∞
T
(
x
)
L
(
x
,
θ
)
d
x
1
.
.
.
d
x
n
\varphi(\theta)=\int_{-\infty}^{+\infty}...\int_{-\infty}^{+\infty}T(x)L(x,\theta)dx_1...dx_n
φ(θ)=∫−∞+∞...∫−∞+∞T(x)L(x,θ)dx1...dxn
φ ′ ( θ ) = ∫ − ∞ + ∞ . . . ∫ − ∞ + ∞ T ( x ) ∂ L ( x , θ ) ∂ θ d x 1 . . . d x n \varphi'(\theta)=\int_{-\infty}^{+\infty}...\int_{-\infty}^{+\infty}T(x)\frac{\partial L(x,\theta)}{\partial \theta}dx_1...dx_n φ′(θ)=∫−∞+∞...∫−∞+∞T(x)∂θ∂L(x,θ)dx1...dxn
又 ( l n L ) ′ = 1 L L ′ ⇒ L ′ = L ( l n L ) ′ (lnL)'=\frac 1LL'\Rightarrow L' = L(lnL)' (lnL)′=L1L′⇒L′=L(lnL)′
φ ′ ( θ ) = ∫ − ∞ + ∞ . . . ∫ − ∞ + ∞ T ( x ) ∂ l n L ( x , θ ) ∂ θ L ( x , θ ) d x 1 . . . d x n = E [ T ( x ) ∂ l n L ( x , θ ) ∂ θ ] \varphi'(\theta)=\int_{-\infty}^{+\infty}...\int_{-\infty}^{+\infty}T(x)\frac{\partial lnL(x,\theta)}{\partial \theta} L(x,\theta)dx_1...dx_n=E[T(x)\frac{\partial lnL(x,\theta)}{\partial \theta}] φ′(θ)=∫−∞+∞...∫−∞+∞T(x)∂θ∂lnL(x,θ)L(x,θ)dx1...dxn=E[T(x)∂θ∂lnL(x,θ)]
∫ − ∞ + ∞ . . . ∫ − ∞ + ∞ L ( x , θ ) d x 1 . . . d x n = 1 \int_{-\infty}^{+\infty}...\int_{-\infty}^{+\infty}L(x,\theta)dx_1...dx_n=1 ∫−∞+∞...∫−∞+∞L(x,θ)dx1...dxn=1
对两边同时求导
∫ − ∞ + ∞ . . . ∫ − ∞ + ∞ ∂ L ( x , θ ) ∂ θ d x 1 . . . d x n = 0 ⇔ ∫ − ∞ + ∞ . . . ∫ − ∞ + ∞ ∂ l n L ( x , θ ) ∂ θ L ( x , θ ) d x 1 . . . d x n = 0 \int_{-\infty}^{+\infty}...\int_{-\infty}^{+\infty}\frac{\partial L(x,\theta)}{\partial \theta}dx_1...dx_n=0 \Leftrightarrow \int_{-\infty}^{+\infty}...\int_{-\infty}^{+\infty}\frac{\partial lnL(x,\theta)}{\partial \theta}L(x,\theta)dx_1...dx_n=0 ∫−∞+∞...∫−∞+∞∂θ∂L(x,θ)dx1...dxn=0⇔∫−∞+∞...∫−∞+∞∂θ∂lnL(x,θ)L(x,θ)dx1...dxn=0
所以有 E ( ∂ l n L ( x , θ ) ∂ θ ) = 0 E(\frac{\partial lnL(x,\theta)}{\partial \theta})=0 E(∂θ∂lnL(x,θ))=0
C o v ( T , ∂ l n L ( x , θ ) ∂ θ ) = E ( T ( x ) ∂ l n L ( x , θ ) ∂ θ ) − E ( T ( x ) ) E ( ∂ l n L ( x , θ ) ∂ θ ) = E ( T ( x ) ∂ l n L ( x , θ ) ∂ θ ) Cov(T,\frac{\partial lnL(x,\theta)}{\partial \theta})=E(T(x)\frac{\partial lnL(x,\theta)}{\partial \theta})-E(T(x))E(\frac{\partial lnL(x,\theta)}{\partial \theta})=E(T(x)\frac{\partial lnL(x,\theta)}{\partial \theta}) Cov(T,∂θ∂lnL(x,θ))=E(T(x)∂θ∂lnL(x,θ))−E(T(x))E(∂θ∂lnL(x,θ))=E(T(x)∂θ∂lnL(x,θ))
又 ∣ C o v ( x , y ) ∣ ≤ D ( x ) D ( y ) |Cov(x,y)|\leq \sqrt{D(x)D(y)} ∣Cov(x,y)∣≤D(x)D(y),即 E ( T ( x ) ∂ l n L ( x , θ ) ∂ θ ) ≤ D ( T ( x ) ) D ( ∂ l n L ( x , θ ) ∂ θ ) E(T(x)\frac{\partial lnL(x,\theta)}{\partial \theta})\leq \sqrt{D(T(x))}\sqrt{D(\frac{\partial lnL(x,\theta)}{\partial \theta})} E(T(x)∂θ∂lnL(x,θ))≤D(T(x))D(∂θ∂lnL(x,θ))
同时平方然后变形有: D ( T ( x ) ) ≥ ( φ ′ ( θ ) ) 2 D ( ∂ l n L ( x , θ ) ∂ θ ) D(T(x))\geq \frac{(\varphi'(\theta))^2}{D(\frac{\partial lnL(x,\theta)}{\partial \theta})} D(T(x))≥D(∂θ∂lnL(x,θ))(φ′(θ))2
又 D ( x ) = E ( x 2 ) − E 2 ( x ) , D ( ∂ l n L ( x , θ ) ∂ θ ) = E ( ∂ l n L ( x , θ ) ∂ θ ) 2 = n I ( θ ) D(x) = E(x^2)-E^2(x),D(\frac{\partial lnL(x,\theta)}{\partial \theta})=E(\frac{\partial lnL(x,\theta)}{\partial \theta})^2=nI(\theta) D(x)=E(x2)−E2(x),D(∂θ∂lnL(x,θ))=E(∂θ∂lnL(x,θ))2=nI(θ)
所以 D ( T ( x ) ) ≥ ( φ ′ ( θ ) ) 2 n I ( θ ) D(T(x))\geq \frac{(\varphi'(\theta))^2}{nI(\theta)} D(T(x))≥nI(θ)(φ′(θ))2
达到了下界的方差为有效估计