第三章 点估计(1)
1.点估计的基本属性
点估计: X = ( X 1 , ⋯ , X n ) \boldsymbol X=(X_1,\cdots,X_n) X=(X1,⋯,Xn)作为某个总体的样本, g ^ ( X 1 , ⋯ , X n ) \hat g(X_1,\cdots,X_n) g^(X1,⋯,Xn)是样本的函数,用 g ^ ( X ) \hat g(\boldsymbol X) g^(X)的值作为 g ( θ ) g(\theta) g(θ)的估计,称为点估计。简单来说,就是用某种函数来处理一个样本,得到的数据作为某个参数的函数的估计值。
采取不同的函数对某参数进行点估计,估计的效果不同,一般用来评价点估计的好坏有一些标准。以下用 g ^ ( X ) \hat g(X) g^(X)与 g ^ n ( X ) \hat g_n(X) g^n(X)表示同一点估计, n n n为样本容量。
-
无偏性:无偏的点估计期望等于参数值,即是否有
E θ ( g ^ ( X ) ) = g ( θ ) . E_\theta(\hat g(X))=g(\theta). Eθ(g^(X))=g(θ).
如果上式成立,则称 g ^ ( X ) \hat g(X) g^(X)是 g ( θ ) g(\theta) g(θ)的一个无偏估计。无偏性意味着用这种方法估计参数没有系统偏差,但具有随机误差(且大小不定),在只有少次数使用时效果微乎其微,需要多次重复使用才能接近真值。 -
渐进无偏性:如果 E θ ( g ^ ( X ) ) ≠ g ( θ ) E_\theta(\hat g(X))\ne g(\theta) Eθ(g^(X))=g(θ),但
lim n → ∞ E ^ ( g n ( X ) ) = g ( θ ) \lim_{n\to \infty }\hat E(g_n(X))=g(\theta) n→∞limE^(gn(X))=g(θ)
则称 g ^ n ( X ) \hat g_n(X) g^n(X)是渐进无偏估计(具有渐进无偏性)。 -
有效性:有效性是针对无偏估计而言的,要比较两个无偏估计的好坏,显然方差越小越好,所以设 g ^ 1 ( X ) , g ^ 2 ( X ) \hat g_1(X),\hat g_2(X) g^1(X),g^2(X)为 g ( θ ) g(\theta) g(θ)的两个无偏估计量,如果
D θ ( g ^ 1 ( X ) ) ≤ D θ ( g ^ 2 ( X ) ) , ∀ θ ∈ Θ ∃ θ 0 , s . t . D θ 0 ( g ^ 1 ( X ) ) < D θ 0 ( g ^ 2 ( X ) ) D_\theta(\hat g_1(X))\le D_\theta (\hat g_2(X)),\forall \theta \in \Theta\\ \exist \theta_0,s.t. D_{\theta_0}(\hat g_1(X))<D_{\theta_0}(\hat g_2(X)) Dθ(g^1(X))≤Dθ(g^2(X)),∀θ∈Θ∃θ0,s.t.Dθ0(g^1(X))<Dθ0(g^2(X))
则称 g ^ 1 ( X ) \hat g_1(X) g^1(X)是更有效的无偏估计。 -
相合性:我们希望点估计量能够随着样本容量的增加,与被估计参数的偏差越来越小,因此提出相合这一判断依据。这里有几种相合性:
-
弱相合估计: g ^ n ( X ) \hat g_n(X) g^n(X)依概率收敛到 g ( θ ) g(\theta) g(θ),即 ∀ θ ∈ Θ , ε > 0 \forall \theta\in\Theta,\varepsilon>0 ∀θ∈Θ,ε>0有
lim n → ∞ P θ ( ∣ g ^ n ( X ) − g ( θ ) ∣ ≥ ε ) = 0 \lim_{n\to \infty}\mathbf P_\theta(|\hat g_n(X)-g(\theta)|\geq \varepsilon)=0 n→∞limPθ(∣g^n(X)−g(θ)∣≥ε)=0
这常用到切比雪夫不等式,即
P ( ∣ ξ − E ξ ∣ ≥ ε ) ≤ D ξ ε 2 \mathbf P(|\xi-E\xi|\geq\varepsilon)\leq\frac{D\xi}{\varepsilon^2} P(∣ξ−Eξ∣≥ε)≤ε2Dξ -
强相合估计:对 ∀ θ ∈ Θ \forall \theta\in \Theta ∀θ∈Θ有
P θ ( lim n → ∞ g ^ n ( X ) = g ( θ ) ) = 1 \mathbf P_\theta(\lim_{n\to\infty}\hat g_n(X)=g(\theta))=1 Pθ(n→∞limg^n(X)=g(θ))=1
这常用到柯尔莫哥洛夫强大数定律,即对于一列独立同分布随机变量序列 { ξ n } , E ∣ ξ i ∣ < ∞ , E ξ i = μ \{\xi_n\},E|\xi_i|<\infty,E\xi_i=\mu {ξn},E∣ξi∣<∞,Eξi=μ,则有
1 n ∑ i = 1 n ξ i → μ a.s. \frac{1}{n}\sum_{i=1}^n\xi_i\to\mu\text{ a.s.} n1i=1∑nξi→μ a.s.
对于连续函数 f f f,若 ξ n → a a.s. \xi_n\rightarrow a\text{ a.s.} ξn→a a.s.,则有 f ( ξ n ) → f ( a ) a.s. f(\xi_n)\rightarrow f(a)\text{ a.s.} f(ξn)→f(a) a.s.。 -
r r r阶矩相合估计:对 r > 0 , ∀ θ ∈ Θ r>0,\forall\theta\in\Theta r>0,∀θ∈Θ有
lim n → ∞ E θ ∣ g ^ n ( X ) − g ( θ ) ∣ r = 0 \lim_{n\to\infty}E_\theta|\hat g_n(X)-g(\theta)|^r=0 n→∞limEθ∣g^n(X)−g(θ)∣r=0
则称为 r r r阶矩相合估计,当 r = 2 r=2 r=2时称为均方相合估计。
-
2.矩估计法
样本矩:分为原点矩与中心矩。样本的 k k k阶原点矩为 a n , k = 1 n ∑ i = 1 n X i k a_{n,k}=\frac1n\sum_{i=1}^n X_i^k an,k=n1∑i=1nXik,样本的 k k k阶中心矩为 m n , k = 1 n ∑ i = 1 n ( X i − X ˉ ) k m_{n,k}=\frac1n\sum_{i=1}^n (X_i-\bar X)^k mn,k=n1∑i=1n(Xi−Xˉ)k。它们是总体原点矩 α k \alpha_k αk与中心矩 μ k \mu_k μk的“自然”估计量,并且 a n , k a_{n,k} an,k是总体原点矩 α k \alpha_k αk的无偏估计。
矩估计量:对于分布族
{
f
(
x
,
θ
)
,
θ
∈
Θ
}
\{f(x,\theta),\theta\in\Theta\}
{f(x,θ),θ∈Θ},关于
θ
\theta
θ的函数
g
(
θ
)
g(\theta)
g(θ)可以表示为总体分布的某些矩的函数
g
(
θ
)
=
G
(
α
1
,
⋯
,
α
k
,
μ
2
⋯
,
μ
s
)
g(\theta)=G(\alpha_1,\cdots,\alpha_k,\mu_2\,\cdots,\mu_s)
g(θ)=G(α1,⋯,αk,μ2⋯,μs)。将总体矩自然地换成样本矩,就得到了矩估计量
g
^
(
X
)
=
G
(
a
n
,
1
,
⋯
,
a
n
,
k
,
m
n
,
2
,
⋯
,
m
n
,
s
)
\hat g(\boldsymbol X)=G(a_{n,1},\cdots,a_{n,k},m_{n,2},\cdots,m_{n,s})
g^(X)=G(an,1,⋯,an,k,mn,2,⋯,mn,s)
这种求矩估计量的方法叫做矩法求点估计。
矩估计量的性质:
- 无偏性方面,一般 a n , k a_{n,k} an,k是 α k \alpha_k αk的无偏估计, m n , k m_{n,k} mn,k不是 μ k \mu_k μk的无偏估计。由此,待估参数 g ( θ ) g(\theta) g(θ)为矩的一般函数时,矩估计量一般不具有无偏性;但是,如果 g ( θ ) g(\theta) g(θ)是若干总体原点矩的线性组合,则显然矩估计量具有无偏性。
- 渐进无偏性方面,矩估计量一般具有渐进无偏性。
- 相合性方面, a n , k a_{n,k} an,k是 α k \alpha_k αk的强相合估计,由柯尔莫哥洛夫强大数定律保证; m n , k m_{n,k} mn,k是 μ k \mu_k μk的强相合估计。对于 g ( θ ) = G ( α 1 , ⋯ , α k , μ 2 , ⋯ , μ s ) g(\theta) =G(\alpha_1,\cdots,\alpha_k,\mu_2,\cdots,\mu_s) g(θ)=G(α1,⋯,αk,μ2,⋯,μs),且 G G G是其变元的连续函数,则 g ^ n ( X ) \hat g_n(X) g^n(X)是 g ( θ ) g(\theta) g(θ)的强相合估计。
- 渐近正态性:矩估计是相合渐进正态估计。
相合渐进正态估计(CAN估计):
g
^
n
(
X
)
\hat g_n(X)
g^n(X)是
g
(
θ
)
g(\theta)
g(θ)的矩估计量,如果存在与样本大小有关的,定义在参数空间上的函数
A
n
(
θ
)
,
B
n
(
θ
)
A_n(\theta),B_n(\theta)
An(θ),Bn(θ),使得
g
^
n
(
X
)
−
A
n
(
θ
)
B
n
(
θ
)
⟶
L
N
(
0
,
1
)
\frac{\hat g_n(X)-A_n(\theta)}{B_n(\theta)}\stackrel{\mathscr L}{\longrightarrow }N(0,1)
Bn(θ)g^n(X)−An(θ)⟶LN(0,1)
即
g
^
n
(
X
)
\hat g_n(X)
g^n(X)拥有正态的形式,则称
g
^
n
(
X
)
\hat g_n(X)
g^n(X)是
g
(
θ
)
g(\theta)
g(θ)的相合渐进正态估计。