概率论与数理统计教程(六)-参数估计01：点估计的概念与无偏性

§ 6.1 点估计的概念与无偏性
6.1.1 点估计及无偏性
定义 6.1.1 设 $x_1,x_2,\cdots ,x_n$ 是来自总体的一个样本,
用于估计未知参数 $\theta$ 的统计量
$\hat{\theta }=\hat{\theta }\left(x_1,x_2,\cdots ,x_n\right)$ 称为
$\theta$ 的估计量, 或称为 $\theta$ 的点估计,简称估计.
在这里如何构造统计量 $\hat{\theta }$ 并没有明确的规定,
只要它满足一定的合理性即可. 最常见的合理性要求是所谓的无偏性.
定义 6.1 .2 设
$\hat{\theta }=\hat{\theta }\left(x_1,x_2,\cdots ,x_n\right)$ 是
$\theta$ 的一个估计, $\theta$ 的参数空间为 $\Theta$, 若对任意
的 $\theta \in \Theta$, 有
$$E_{\theta }(\hat{\theta })=\theta ,$$
则称 $\hat{\theta }$ 是 $\theta$ 的无偏估计, 否则称为有偏估计.
无偏性要求可以改写为 $E_{\theta }(\hat{\theta }-\theta )=0$,
这表示无偏估计没有系统偏差. 当我们使用 $\hat{\theta }$ 估计 $\theta$ 时,
由于样本的随机性, $\hat{\theta }$ 与 $\theta$ 总是有偏差的, 这种偏差时而
(对某些样本观测值) 为正, 时而 (对另一些样本观测值) 为负, 时而大, 时而小.
无偏性表示, 把这些偏差平均起来其值为 0 , 这就是无偏估计的含义.
而若估计不具有无偏性, 则无论使用多少次,
其平均也会与参数真值有一定的距离, 这个距离就是系统误差.
例 6.1.1 对任一总体而言, 样本均值是总体均值的无偏估计. 当总体 $k$
阶矩存在时, 样本 $k$ 阶原点矩 $a_k$ 是总体 $k$ 阶原点矩 ${\mu }_k$
的无偏估计. 但对 $k$ 阶中心矩则不一样, 譬如, 样本方差 $s_n^2$
就不是总体方差 ${\sigma }^2$ 的无偏估计, 因由定理 5.3.2 可得
$$E\left(s_n^2\right)=\frac{n-1}{n}{\sigma }^2.$$
对此, 有如下两点说明:
(1) 当样本量趋于无穷时, 有
$E\left(s_n^2\right)\to {\sigma }^2$, 我们称 $s_n^2$ 为
${\sigma }^2$ 的渐近无偏估计, 这表明当样本量较大时, $s_n^2$
可近似看作 ${\sigma }^2$ 的无偏估计.
(2) 若对 $s_n^2$ 作如下修正:
$$s^2=\frac{n{s}_n^2}{n-1}=\frac{1}{n-1}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2,$$
则 $s^2$ 是总体方差的无偏估计. 这种简单的修正方法在一些场合常被采用.
(6.1.2) 式定义的 $s^2$ 也称为样本方差, 它比 $s_n^2$ 更常用.
这是因为在 $n⩾2$ 时, $s_n^2<s^2$, 因此用 $s_n^2$
估计 ${\sigma }^2$有偏小的倾向, 特别在小样本场合要使用 $s^2$ 估计
${\sigma }^2$.
无偏性不具有不变性. 即若 $\hat{\theta }$ 是 $\theta$ 的无偏估计,
一般而言, 其函数 $g(\hat{\theta })$ 不是 $g(\theta )$的无偏估计,除非
$g(\theta )$ 是 $\theta$ 的线性函数. 譬如, $s^2$ 是 ${\sigma }^2$
的无偏估计, 但 $s$ 不是 $\sigma$ 的无偏估计.
下面我们以正态分布为例加以说明.
例 6.1.2 设总体为
$N\left(\mu ,{\sigma }^2\right),x_1$