7 参数估计

参数：反应总体某方面特征的量（比如：合格率、均值、方差、中位数…

参数估计的形式：点估计和区间估计

7.1 点估计

借助于总体X的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。

设总体的分布函数为$F(x;\theta )$，其中$\theta$为k维向量。根据样本$X_1,X_2,\dots ,X_n$构造一个统计量$\hat{\theta }(X_1,X_2,\dots ,X_n)$作为$\theta$的估计，则称$\hat{\theta }(X_1,X_2,\dots ,X_n)$为$\theta$的估计量。如果$x_1,x_2,\dots ,x_n$是一个样本观察值，带入$\hat{\theta }$后得到的具体值$\hat{\theta }(x_1,x_2,\dots ,x_n)$称为$\theta$的估计值。

常用的点估计方法：矩估计法、极大似然估计法。

一 、矩估计法

统计思想：以样本矩估计总体矩，以样本矩的函数估计总体矩的函数。

理论依据：辛钦大数定律和依概率收敛的性质。

设${\theta }_1,{\theta }_2,\dots ,{\theta }_k$为待估参数，$X_1,X_2,\dots ,X_n$是来自X的样本。矩估计的具体步骤：

1. 建立$({\theta }_1,{\theta }_2,\dots ,{\theta }_k)$与$({\mu }_1,{\mu }_2,\dots ,{\mu }_k)$的联系：求总体前k阶矩关于k个参数的函数
   $${\mu }_i=E(X^i)=h_i({\theta }_1,{\theta }_2,\dots ,{\theta }_k),i=1,2,\dots ,k.$$

2. 求各参数关于k阶矩的反函数
   $${\theta }_i=g_i({\mu }_1,{\mu }_2,\dots ,{\mu }_k),i=1,2,\dots ,k$$

3. 以样本各阶矩$A_1,A_2,\dots ,A_k$代替总体X各阶矩${\mu }_1,{\mu }_2,\dots ,{\mu }_k$, 得到各参数的矩估计
   $${\hat{\theta }}_i=g_i(A_1,A_2,\dots ,A_k),i=1,2,\dots ,k$$

【注】：方差${\sigma }^2$的矩估计并不是（修正）样本方差$S^2$，而是样本二阶中心距
$$B_2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{n-1}{n}{S}^2$$
矩估计的特点：

• 直观、简便
• 适用范围广，不需要知道总体分布的具体类型
• 没有充分利用总体分布的信息，精度不高

二 、最大似然估计法

离散型总体$X\sim p(x;\theta ),\theta \in \Theta$, $\theta$为待估参数，$\Theta$为参数的取值范围。$X_1,X_2,\dots ,X_n$是来自总体X的样本，则$X_1,X_2,\dots ,X_n$的联合分布率为
$$\prod _{i=1}^{n}p(x_i;\theta )$$
又设$(x_1,x_2,\dots ,x_n)$是相应于样本的一组观察值，那么样本$X_1,X_2,\dots ,X_n$取到观察值的概率为
$$L(\theta )=L(x_1,x_2,\dots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta ),\theta \in \Theta$$
$L(\theta )$称为样本的似然函数。

最大似然估计法就是固定样本的观察值$x_1,x_2,\dots ,x_n$，在$\theta$取值的可能范围$\Theta$内挑选使得最大似然函数$L(\theta )=L(x_1,x_2,\dots ,x_n;\theta )$达到最大值的参数值$\hat{\theta }$作为参数$\theta$的估计值，即取$\hat{\theta }$使
$$L(x_1,x_2,\dots ,x_n;\hat{\theta })=\underset{\theta \in \Theta }{\max }L(x_1,x_2,\dots ,x_n;\theta )$$

这样得到的$\hat{\theta }$值与$x_1,x_2,\dots ,x_n$有关，常记为$\hat{\theta }(x_1,x_2,\dots ,x_n)$ ,称为参数$\theta$的最大似然估计值,相应的统计量$\hat{\theta }(X_1,X_2,\dots ,X_n)$ 称为参数$\theta$的最大似然估计量。

连续型总体的概率密度$f(x_i;\theta ),\theta \in \Theta$$\theta$为待估参数，$\Theta$为参数的取值范围。$X_1,X_2,\dots ,X_n$是来自总体X的样本，则$X_1,X_2,\dots ,X_n$的概率密度函数为
$$\prod _{i=1}^{n}p(x_i;\theta )$$
又设$x_1,x_2,\dots ,x_n$是样本的一组观察值，那么样本$(X_1,X_2,\dots ,X_n)$落在$x_1,x_2,\dots ,x_n$的领域内的概率近似为
$$\prod _{i=1}^{n}p(x_i;\theta )d{x}_i$$
因子$\prod _{i=1}^{n}d{x}_i$与参数$\theta$无关, 所以似然函数：
$$L(\theta )=L(x_1,x_2,\dots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i;n)$$
满足下式
$$L(x_1,x_2,\dots ,x_n;\hat{\theta })=\underset{\theta \in \Theta }{\max }L(x_1,x_2,\dots ,x_n;\theta )$$
的$\hat{\theta }(x_1,x_2,\dots ,x_n)$称为$\theta$的最大似然_估计值，$\hat{\theta }(X_1,X_2,\dots ,X_n)$称为最大似然估计量。

【说明】：

• 很多情形下，$p(x_i;\theta )$和$f(x;\theta )$关于$\theta$可微，$\theta$可从以下方程中解得
  $$\frac{d}{d\theta }L(\theta )=0$$

• 对数似然函数 :$lnL(\theta )$

• 对数似然方程组：
  $$\frac{\partial L(\theta )}{\partial \theta }=\sum _{i=1}^n\frac{\partial \ln p(x_i;\theta )}{\partial \theta }=0$$

7.3 估计量的评选标准

一 、无偏性

定义 若$\hat{\theta }=\hat{\theta }(X_1,X_2,\dots ,X_n)$为参数$\theta$的一个估计量，$\Theta$为参数$\theta$的取值范围，若对任意的$\theta \in \Theta$, 有
$$E(\hat{\theta })=\theta$$
则称$\hat{\theta }$是$\theta$的无偏估计量。

若$E(\hat{\theta })\ne 0$, 那么$|E(\hat{\theta })-\theta |$称为估计量$\hat{\theta }$的偏差，

若$\underset{n\to \infty }{\lim }E(\theta )=\theta$，则称$\hat{\theta }$是$\theta$的 渐进无偏估计量。

例: 样本均值$\bar{X}$是总体均值$\mu$的无偏估计，样本方差$S_2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$是总体方差${\sigma }^2$的无偏估计，而样本二阶中心矩$B_2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{n-1}{n}{S}^2$不是总体方差${\sigma }^2$的无偏估计，但有$\underset{n\to \infty }{\lim }E(B_2)=\underset{n\to \infty }{\lim }\frac{n-1}{n}{\sigma }^2={\sigma }^2$，所以$B_2$是${\sigma }^2$的渐进无偏估计。

纠偏方法：如果$E(\hat{\theta })=a\theta +b，\theta \in \Theta$其中$a,b$是常数，且$a\ne 0$，则$\frac{1}{a}(\hat{\theta }-b)$是$\theta$的无偏估计。

二 、有效性

定义 设${\hat{\theta }}_1={\hat{\theta }}_1(X_1,X_2,\dots ,X_n)$与${\hat{\theta }}_2={\hat{\theta }}_2(X_1,X_2,\dots ,X_n)$都是$\theta$的无偏估计量，若对于任意的$\theta \in \Theta$，有
$$D({\hat{\theta }}_1)\le D({\hat{\theta }}_2)$$
且至少对于某一个$\theta \in \Theta$上式中的不等号成立，则称${\hat{\theta }}_1$较${\hat{\theta }}_2$有效。

三 、均方误差准则

定义 称$E(\hat{\theta }-\theta {)}^2$为均方误差，记为M(\hat{\theta}, \theta)M(θ^,θ)。显然，均方误差越小越好，这一准则称为均方误差准则。

均方误差可以分为两部分：
$$M(\hat{\theta },\theta )=D(\hat{\theta })+(E(\hat{\theta })-\theta {)}^2$$
如果估计量是无偏估计，那么第二部分为0，均方误差变为方差。

四 、相合性

定义 设$\hat{\theta }(X_1,X_2,\dots ,X_n)$为参数$\theta$的一个估计量，$\Theta$若对任意的$\theta \in \Theta$, 当$n\to \infty$时，$\hat{\theta }(X_1,X_2,\dots ,X_n)$依概率收敛于$\theta$，则称$\hat{\theta }$为$\theta$的相合性估计量。

即，若对于任意$\theta \in \Theta$都满足：对于任意$\epsilon >0$，有
lim ⁡ n → ∞ { ∣ θ ^ − θ ∣ < ε } = 1 \lim_{n\rightarrow\infty}\{ |\hat\theta-\theta|<\varepsilon \}=1 n→∞lim​{∣θ^−θ∣<ε}=1
则称$\hat{\theta }$为$\theta$的相合性估计量。