数理统计备考(2)
第三章
本章是点估计,包含点估计的评定法则、矩估计、极大似然估计、UMVUE、CR不等式等内容。
点估计指的是用一个统计量来作为一个未知参数(函数)的估计值。用来估计一个未知参数的点估计有很多种,它们的优劣程度有一系列判断准则。
- 无偏性: E θ ^ = θ E\hat \theta=\theta Eθ^=θ是否成立,或者 n → ∞ n\to\infty n→∞时是否有 E θ ^ n → θ E\hat\theta_n\to\theta Eθ^n→θ。
- 有效性: D θ ^ D\hat\theta Dθ^是大还是小。
- 相合性:是否有 θ ^ → θ \hat\theta\to \theta θ^→θ,有弱相合、强相合、 r r r阶矩相合之分。
常用的点估计方式有矩估计和极大似然估计。
矩估计指的是用样本矩代替总体矩,首先要将未知参数(函数)用总体矩表达出来(主要是均值、方差),再用相应的样本矩替换。样本矩指
a
n
,
k
=
1
n
∑
i
=
1
n
X
i
k
⇒
E
(
X
i
k
)
m
n
,
k
=
1
n
∑
i
=
1
n
(
X
i
−
X
ˉ
)
k
⇒
E
(
X
i
−
X
ˉ
)
k
a_{n,k}=\frac1n\sum_{i=1}^nX_i^k\Rightarrow E(X_i^k)\\ m_{n,k}=\frac1n\sum_{i=1}^n(X_i-\bar X)^k\Rightarrow E(X_i-\bar X)^k
an,k=n1i=1∑nXik⇒E(Xik)mn,k=n1i=1∑n(Xi−Xˉ)k⇒E(Xi−Xˉ)k
矩估计量不是唯一的,用样本矩代替总体矩的方法叫做矩法估计。
极大似然估计指的是使似然函数达到最大值的参数值作为点估计值,记作MLE。似然函数形式上与样本的联合密度函数一致,但主元是未知参数,记作 L ( θ ; x ) = f ( x ; θ ) L(\theta;\boldsymbol x)=f(\boldsymbol x;\theta) L(θ;x)=f(x;θ)。对数似然函数为 l ( θ ; x ) = ln L ( θ ; x ) l(\theta;\boldsymbol x)=\ln L(\theta;\boldsymbol x) l(θ;x)=lnL(θ;x)。
要使得似然函数或对数似然函数取到最大值,对于参数空间为开集的情况,只要让
∂
l
∂
θ
i
=
0
\frac{\partial l}{\partial\theta_i}=0
∂θi∂l=0
如果参数空间不是开集或者似然函数关于
θ
\theta
θ不可导,则求MLE需要观察似然函数的形式。但如果样本分布族是指数族,则只要似然方程组的解是自然参数空间的内点,则必为
θ
\theta
θ的MLE。
UMVUE即一致最小方差无偏估计,指的是在所有参数函数
g
(
θ
)
g(\theta)
g(θ)的无偏估计中,无论
g
(
θ
)
g(\theta)
g(θ)实际是多少,方差都是最小的那个点估计。将UMVUE限制在无偏估计类,是因为无偏估计的均方误差就是方差,即
E
(
g
^
−
g
(
θ
)
)
2
=
E
g
^
2
−
2
g
(
θ
)
E
g
^
+
(
g
(
θ
)
)
2
=
E
g
^
2
−
(
E
g
^
)
2
=
D
g
^
E(\hat g-g(\theta))^2=E\hat g^2-2g(\theta)E\hat g+(g(\theta))^2=E\hat g^2-(E\hat g)^2=D\hat g
E(g^−g(θ))2=Eg^2−2g(θ)Eg^+(g(θ))2=Eg^2−(Eg^)2=Dg^
如果要验证某个估计量是UMVUE,可以使用零无偏估计法。如果
g
^
(
X
)
\hat g(\boldsymbol X)
g^(X)是
g
(
θ
)
g(\theta)
g(θ)的UMVUE,要满足以下条件:
- E ( g ^ ( X ) ) = g ( θ ) E(\hat g(\boldsymbol X))=g(\theta) E(g^(X))=g(θ);
- ∀ l ( X ) , E θ l ( X ) = 0 \forall l(\boldsymbol X),E_\theta l(\boldsymbol X)=0 ∀l(X),Eθl(X)=0,有 E ( l ( X ) , g ^ ( X ) ) = 0 E(l(\boldsymbol X),\hat g(\boldsymbol X))=0 E(l(X),g^(X))=0。
即所有的零无偏估计都和 g ^ ( X ) \hat g(\boldsymbol X) g^(X)独立。
如果要寻找某个参数函数 g ( θ ) g(\theta) g(θ)的UMVUE,可以使用L-S定理,找到一个充分完备统计量 T ( X ) T(\boldsymbol X) T(X),再找到一个函数 g ^ \hat g g^,使得 E ( g ^ ( T ) ) = g ( θ ) E(\hat g(T))=g(\theta) E(g^(T))=g(θ),则 g ^ ( T ) \hat g(T) g^(T)是 g ( θ ) g(\theta) g(θ)的UMVUE。
在没有给出无偏估计的情况下,可以使用以下几种求UMVUE的方法:
-
如果给定的参数值显然是某一个事件的概率,则可以取一个统计量为这个事件的示性函数,记作 φ ( X ) \varphi(\boldsymbol X) φ(X),于是UMVUE为 E ( φ ( X ) ∣ T ) E(\varphi(\boldsymbol X)|T) E(φ(X)∣T)。
如 X ∼ b ( 1 , p ) X\sim b(1,p) X∼b(1,p),要估计的参数为 g ( p ) = p ( 1 − p ) g(p)=p(1-p) g(p)=p(1−p),充分完备统计量为 T = ∑ i = 1 n X i T=\sum_{i=1}^nX_i T=∑i=1nXi,此时可以取 φ ( X ) = I ( X 1 = 1 , X 2 = 0 ) \varphi(\boldsymbol X)=I_{(X_1=1,X_2=0)} φ(X)=I(X1=1,X2=0)。于是
E ( φ ( X ) ∣ T = t ) = P ( X 1 = 1 , X 2 = 0 ∣ T = t ) P ( T = t ) = P ( X 1 = 1 ) P ( X 2 = 0 ) P ( ∑ i = 3 n X i = t − 1 ) P ( T = t ) = p ( 1 − p ) C n − 2 t − 1 p t − 1 ( 1 − p ) n − t − 1 C n t p t ( 1 − p ) n − t = C n − 2 t − 1 C n t = t ( n − t ) n ( n − 1 ) \begin{aligned} E(\varphi(\boldsymbol X)|T=t)=&\frac{\mathbf P(X_1=1,X_2=0|T=t)}{\mathbf P(T=t)}\\ =&\frac{\mathbf P(X_1=1)\mathbf P(X_2=0)\,\mathbf P(\sum_{i=3}^nX_i=t-1)}{\mathbf P(T=t)}\\ =&\frac{p(1-p)C_{n-2}^{t-1}p^{t-1}(1-p)^{n-t-1}}{C_n^tp^t(1-p)^{n-t}}\\ =&\frac{C_{n-2}^{t-1}}{C_n^t}\\ =&\frac{t(n-t)}{n(n-1)} \end{aligned} E(φ(X)∣T=t)=====P(T=t)P(X1=1,X2=0∣T=t)P(T=t)P(X1=1)P(X2=0)P(∑i=3nXi=t−1)Cntpt(1−p)n−tp(1−p)Cn−2t−1pt−1(1−p)n−t−1CntCn−2t−1n(n−1)t(n−t)
得到UMVUE为
T ( n − T ) n ( n − 1 ) \frac{T(n-T)}{n(n-1)} n(n−1)T(n−T) -
如果待估参数是没什么特征的参数函数,则可以自己设出其关于 T T T的无偏估计函数,并由无偏性构造等式求出无偏估计的具体表达式。
如 X ∼ P ( λ ) X\sim P(\lambda ) X∼P(λ),待估参数为 g ( λ ) = λ r , r ∈ N g(\lambda)=\lambda^r,r\in\N g(λ)=λr,r∈N,充分统计量为 T = ∑ i = 1 n X i T=\sum_{i=1}^nX_i T=∑i=1nXi。此时 T ∼ P ( n λ ) T\sim P(n\lambda) T∼P(nλ),假设其无偏估计为 h ( T ) h(T) h(T),则
P ( T = k ) = ( n λ ) k k ! e − n λ , E ( h ( T ) ) = e − n λ ∑ k = 0 ∞ h ( k ) ( n λ ) k k ! = λ r . ∑ k = 0 ∞ h ( k ) ( n λ ) k k ! = λ r e n λ ∑ k = 0 ∞ h ( k ) ( n λ ) k k ! = λ r ∑ l = 0 ∞ ( n λ ) l l ! = ∑ l = r ∞ n l − r λ l ( l − r ) ! ⇓ h ( t ) = { 0 , t ≤ r − 1 ; t ! ( t − r ) ! n r , t ≥ r . \mathbf P(T=k)=\frac{(n\lambda)^k}{k!}e^{-n\lambda},\\ E(h(T))=e^{-n\lambda }\sum_{k=0}^\infty h(k)\frac{(n\lambda)^k}{k!}=\lambda^r.\\ \begin{aligned} \sum_{k=0}^\infty h(k)\frac{(n\lambda)^k}{k!}=&\lambda ^r e^{n\lambda}\\ \sum_{k=0}^\infty h(k)\frac{(n\lambda)^k}{k!}=&\lambda^r\sum_{l=0}^{\infty}\frac{(n\lambda)^l}{l!}=\sum_{l=r}^\infty \frac{n^{l-r}\lambda^l}{(l-r)!}\\ \Downarrow\\ \end{aligned}\\ h(t)=\left\{ \begin{array}{l} 0,&t\le r-1 ;\\ \frac{t!}{(t-r)!n^r},&t\ge r. \end{array} \right. P(T=k)=k!(nλ)ke−nλ,E(h(T))=e−nλk=0∑∞h(k)k!(nλ)k=λr.k=0∑∞h(k)k!(nλ)k=k=0∑∞h(k)k!(nλ)k=⇓λrenλλrl=0∑∞l!(nλ)l=l=r∑∞(l−r)!nl−rλlh(t)={0,(t−r)!nrt!,t≤r−1;t≥r.
故 λ r \lambda^r λr的UMVUE为
T ( T − 1 ) ⋯ ( T − r + 1 ) n r \frac{T(T-1)\cdots(T-r+1)}{n^r} nrT(T−1)⋯(T−r+1)
C-R不等式给出了无偏估计的方差下界,这个方差下界是有条件且不一定能达到的。首先,要计算某个待估参数的C-R下界,要求总体分布族是正则的,且积分与求导可交换。即:
- 参数空间 Θ \Theta Θ是直线上的开区间;
- 分布族中所有密度函数共支撑;
- 密度函数 f ( x , θ ) f(x,\theta) f(x,θ)关于 θ \theta θ的一阶导存在;
- 积分与微分运算可交换;
- I ( θ ) = E [ ∂ log f ( X , θ ) ∂ θ ] 2 < ∞ I(\theta)=E[\frac{\partial \log f(X,\theta)}{\partial \theta}]^2<\infty I(θ)=E[∂θ∂logf(X,θ)]2<∞;
- 对于 g ( θ ) g(\theta) g(θ)的任一无偏估计 g ^ ( X ) \hat g(\boldsymbol X) g^(X),其期望在积分号下可对 θ \theta θ求导数。
以上几个条件不好验证,但如果总体分布族是指数族,则以上条件都成立。在这种情况下,C-R不等式表现为:
D
g
^
(
X
)
≥
(
g
′
(
θ
)
)
2
n
I
(
θ
)
,
∀
θ
∈
Θ
I
(
θ
)
=
E
[
∂
ln
f
(
X
,
θ
)
∂
θ
]
2
=
−
E
(
∂
2
ln
f
(
X
,
θ
)
∂
θ
2
)
D\hat g(\boldsymbol X)\ge\frac{(g'(\theta))^2}{nI(\theta)},\forall \theta \in\Theta\\ I(\theta)=E\left[ \frac{\partial \ln f(X,\theta)}{\partial \theta} \right]^2 =-E\left( \frac{\partial^2\ln f(X,\theta)}{\partial\theta^2} \right)
Dg^(X)≥nI(θ)(g′(θ))2,∀θ∈ΘI(θ)=E[∂θ∂lnf(X,θ)]2=−E(∂θ2∂2lnf(X,θ))
注意,信息函数中是对总体密度函数求对数而不是样本联合密度函数。特别当
g
(
θ
)
=
θ
g(\theta)=\theta
g(θ)=θ时,其C-R下界为
(
n
I
(
θ
)
)
−
1
(nI(\theta))^{-1}
(nI(θ))−1。
在待估参数的C-R下界存在时,就可以计算无偏估计的效率了,为了使效率介于0到1之间,取效率为
e
g
^
(
θ
)
=
(
g
′
(
θ
)
)
2
n
I
(
θ
)
D
(
g
^
)
e_{\hat g}(\theta)=\frac{(g'(\theta))^2}{nI(\theta)D(\hat g)}
eg^(θ)=nI(θ)D(g^)(g′(θ))2
如果
e
g
^
=
1
e_{\hat g}=1
eg^=1,则称无偏估计
g
^
\hat g
g^是有效估计;如果随着
n
n
n的增长
e
g
^
e_{\hat g}
eg^趋向于1,则称
g
^
\hat g
g^为渐进有效估计。由于C-R下界并不总能达到,所以待估参数并不总是存在有效估计。但是,达到C-R下界的无偏估计一定是UMVUE。