§ 6.1 点估计的概念与无偏性
6.1.1 点估计及无偏性
定义 6.1.1 设 x 1 , x 2 , ⋯ , x n x_{1}, x_{2}, \cdots, x_{n} x1,x2,⋯,xn 是来自总体的一个样本,
用于估计未知参数 θ \theta θ 的统计量
θ ^ = θ ^ ( x 1 , x 2 , ⋯ , x n ) \hat{\theta}=\hat{\theta}\left(x_{1}, x_{2}, \cdots, x_{n}\right) θ^=θ^(x1,x2,⋯,xn) 称为
θ \theta θ 的估计量, 或称为 θ \theta θ 的点估计,简称估计.
在这里如何构造统计量 θ ^ \hat{\theta} θ^ 并没有明确的规定,
只要它满足一定的合理性即可. 最常见的合理性要求是所谓的无偏性.
定义 6.1 .2 设
θ ^ = θ ^ ( x 1 , x 2 , ⋯ , x n ) \hat{\theta}=\hat{\theta}\left(x_{1}, x_{2}, \cdots, x_{n}\right) θ^=θ^(x1,x2,⋯,xn) 是
θ \theta θ 的一个估计, θ \theta θ 的参数空间为 Θ \Theta Θ, 若对任意
的 θ ∈ Θ \theta \in \Theta θ∈Θ, 有
E θ ( θ ^ ) = θ , E_{\theta}(\hat{\theta})=\theta, Eθ(θ^)=θ,
则称 θ ^ \hat{\theta} θ^ 是 θ \theta θ 的无偏估计, 否则称为有偏估计.
无偏性要求可以改写为 E θ ( θ ^ − θ ) = 0 E_{\theta}(\hat{\theta}-\theta)=0 Eθ(θ^−θ)=0,
这表示无偏估计没有系统偏差. 当我们使用 θ ^ \hat{\theta} θ^ 估计 θ \theta θ 时,
由于样本的随机性, θ ^ \hat{\theta} θ^ 与 θ \theta θ 总是有偏差的, 这种偏差时而
(对某些样本观测值) 为正, 时而 (对另一些样本观测值) 为负, 时而大, 时而小.
无偏性表示, 把这些偏差平均起来其值为 0 , 这就是无偏估计的含义.
而若估计不具有无偏性, 则无论使用多少次,
其平均也会与参数真值有一定的距离, 这个距离就是系统误差.
例 6.1.1 对任一总体而言, 样本均值是总体均值的无偏估计. 当总体 k k k
阶矩存在时, 样本 k k k 阶原点矩 a k a_{k} ak 是总体 k k k 阶原点矩 μ k \mu_{k} μk
的无偏估计. 但对 k k k 阶中心矩则不一样, 譬如, 样本方差 s n 2 s_{n}^{2} sn2
就不是总体方差 σ 2 \sigma^{2} σ2 的无偏估计, 因由定理 5.3.2 可得
E ( s n 2 ) = n − 1 n σ 2 . E\left(s_{n}^{2}\right)=\frac{n-1}{n} \sigma^{2} . E(sn2)=nn−1σ2.
对此, 有如下两点说明:
(1) 当样本量趋于无穷时, 有
E ( s n 2 ) → σ 2 E\left(s_{n}^{2}\right) \rightarrow \sigma^{2} E(sn2)→σ2, 我们称 s n 2 s_{n}^{2} sn2 为
σ 2 \sigma^{2} σ2 的渐近无偏估计, 这表明当样本量较大时, s n 2 s_{n}^{2} sn2
可近似看作 σ 2 \sigma^{2} σ2 的无偏估计.
(2) 若对 s n 2 s_{n}^{2} sn2 作如下修正:
s 2 = n s n 2 n − 1 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 , s^{2}=\frac{n s_{n}^{2}}{n-1}=\frac{1}{n-1} \sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)^{2}, s2=n−1nsn2=n−11i=1∑n(xi−xˉ)2,
则 s 2 s^{2} s2 是总体方差的无偏估计. 这种简单的修正方法在一些场合常被采用.
(6.1.2) 式定义的 s 2 s^{2} s2 也称为样本方差, 它比 s n 2 s_{n}^{2} sn2 更常用.
这是因为在 n ⩾ 2 n \geqslant 2 n⩾2 时, s n 2 < s 2 s_{n}^{2}<s^{2} sn2<s2, 因此用 s n 2 s_{n}^{2} sn2
估计 σ 2 \sigma^{2} σ2有偏小的倾向, 特别在小样本场合要使用 s 2 s^{2} s2 估计
σ 2 \sigma^{2} σ2.
无偏性不具有不变性. 即若 θ ^ \hat{\theta} θ^ 是 θ \theta θ 的无偏估计,
一般而言, 其函数 g ( θ ^ ) g(\hat{\theta}) g(θ^) 不是 g ( θ ) g(\theta) g(θ)的无偏估计,除非
g ( θ ) g(\theta) g(θ) 是 θ \theta θ 的线性函数. 譬如, s 2 s^{2} s2 是 σ 2 \sigma^{2} σ2
的无偏估计, 但 s s s 不是 σ \sigma σ 的无偏估计.
下面我们以正态分布为例加以说明.
例 6.1.2 设总体为
N ( μ , σ 2 ) , x 1 , x 2 , ⋯ , x n N\left(\mu, \sigma^{2}\right), x_{1}, x_{2}, \cdots, x_{n} N(μ,σ2),x1
概率论与数理统计教程(六)-参数估计01:点估计的概念与无偏性
于 2024-02-11 00:12:46 首次发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)