概率论与数理统计 第七章 参数估计

一、点估计

1. 矩估计法

基本思想：用样本矩代替总体矩，建立方程求解参数估计值。

步骤：

1. 计算总体矩（包含未知参数）
2. 计算样本矩
3. 令总体矩等于样本矩，建立方程
4. 解方程得到参数的矩估计量

例题：设总体 $X$ 服从参数为 $\lambda$ 的指数分布，概率密度函数为：

$$f(x;\lambda )=\lambda e^{-\lambda x},x>0$$

求 $\lambda$ 的矩估计量。

解：
总体一阶矩：$E(X)=\frac{1}{\lambda }$
样本一阶矩：$\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$
令 $E(X)=\bar{X}$，即 $\frac{1}{\lambda }=\bar{X}$
解得矩估计量：$\hat{\lambda }=\frac{1}{\bar{X}}$

2. 最大似然估计法

基本思想：选择使样本出现概率最大的参数值作为估计值。

步骤：

1. 写出似然函数 $L(\theta )={\prod }_{i=1}^{n}f(x_i;\theta )$
2. 取对数得 $\ln L(\theta )$
3. 对 $\theta$ 求导并令导数为0
4. 解方程得到最大似然估计量

例题：设 $X_1,X_2,\cdots ,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，求 $\mu$ 和 ${\sigma }^2$ 的最大似然估计。

解：
似然函数：

$$L(\mu ,{\sigma }^2)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}=(2\pi {\sigma }^2{)}^{-\frac{n}{2}}{e}^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu {)}^2}$$

取对数：

$$\ln L(\mu ,{\sigma }^2)=-\frac{n}{2}\ln (2\pi )-\frac{n}{2}\ln {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$$

分别对 $\mu$ 和 ${\sigma }^2$ 求偏导：

$$\frac{\partial \ln L}{\partial \mu }=\frac{1}{{\sigma }^2}\sum _{i=1}^n(x_i-\mu )=0$$

$$\frac{\partial \ln L}{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _{i=1}^n(x_i-\mu {)}^2=0$$

解得：

$$\hat{\mu }=\bar{X},{\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

二、估计量的评选标准

1. 无偏性

若 $E(\hat{\theta })=\theta$，则称 $\hat{\theta }$ 是 $\theta$ 的无偏估计。

例题：证明样本均值 $\bar{X}$ 是总体均值 $\mu$ 的无偏估计。
证明：$E(\bar{X})=E\left(\frac{1}{n}{\sum }_{i=1}^n{X}_i\right)=\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)=\mu$

2. 有效性

设 ${\hat{\theta }}_1$ 和 ${\hat{\theta }}_2$ 都是 $\theta$ 的无偏估计，若 $D({\hat{\theta }}_1)<D({\hat{\theta }}_2)$，则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效。

3. 相合性

若 ${\lim }_{n\to \infty }P(|{\hat{\theta }}_n-\theta |<\epsilon )=1$ 对任意 $\epsilon >0$ 成立，则称 ${\hat{\theta }}_n$ 是 $\theta$ 的相合估计。

三、区间估计

1. 基本概念

置信区间：设 $\theta$ 是总体参数，$X_1,X_2,\cdots ,X_n$ 是样本，若存在两个统计量 ${\hat{\theta }}_1$ 和 ${\hat{\theta }}_2$，使得：

$$P({\hat{\theta }}_1<\theta <{\hat{\theta }}_2)=1-\alpha$$

则称 $({\hat{\theta }}_1,{\hat{\theta }}_2)$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间。

置信水平：$1-\alpha$，通常取0.95、0.99等。

2. (0-1)分布参数的区间估计

设 $X\sim B(1,p)$，$X_1,X_2,\cdots ,X_n$ 为样本，样本均值 $\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$
当 $n$ 充分大时，$p$ 的置信水平为 $1-\alpha$ 的近似置信区间为：

$$\left(\bar{X}-z_{\alpha /2}\sqrt{\frac{\bar{X}(1-\bar{X})}{n}},\bar{X}+z_{\alpha /2}\sqrt{\frac{\bar{X}(1-\bar{X})}{n}}\right)$$

其中 $z_{\alpha /2}$ 是标准正态分布的上 $\alpha /2$ 分位数。

四、正态总体的均值和方差的置信区间

1. 单个正态总体均值的置信区间

(1) ${\sigma }^2$ 已知时

$$\left(\bar{X}-z_{\alpha /2}\frac{\sigma }{\sqrt{n}},\bar{X}+z_{\alpha /2}\frac{\sigma }{\sqrt{n}}\right)$$

(2) ${\sigma }^2$ 未知时

$$\left(\bar{X}-t_{\alpha /2}(n-1)\frac{S}{\sqrt{n}},\bar{X}+t_{\alpha /2}(n-1)\frac{S}{\sqrt{n}}\right)$$

其中 $S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$，$t_{\alpha /2}(n-1)$ 是 $t$ 分布的上 $\alpha /2$ 分位数。

2. 单个正态总体方差的置信区间

$$\left(\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)}\right)$$

其中 ${\chi }_{\alpha /2}^2(n-1)$ 是 ${\chi }^2$ 分布的上 $\alpha /2$ 分位数。

例题：从正态总体中抽取容量为16的样本，测得样本均值 $\bar{x}=50$，样本标准差 $s=8$，求总体均值 $\mu$ 的95%置信区间。
解：$\alpha =0.05$，$t_{0.025}(15)=2.131$
置信区间为：

$$\left(50-2.131\times \frac{8}{\sqrt{16}},50+2.131\times \frac{8}{\sqrt{16}}\right)=(45.738,54.262)$$

五、单侧置信区间

1. 基本概念

单侧置信区间：只关心参数的上限或下限时的区间估计。

• 单侧置信下限：满足 $P(\theta >{\hat{\theta }}_L)=1-\alpha$ 的 ${\hat{\theta }}_L$
• 单侧置信上限：满足 $P(\theta <{\hat{\theta }}_U)=1-\alpha$ 的 ${\hat{\theta }}_U$

2. 正态总体均值的单侧置信区间

(1) ${\sigma }^2$ 已知时

• 单侧置信下限：$\bar{X}-z_{\alpha }\frac{\sigma }{\sqrt{n}}$
• 单侧置信上限：$\bar{X}+z_{\alpha }\frac{\sigma }{\sqrt{n}}$

(2) ${\sigma }^2$ 未知时

• 单侧置信下限：$\bar{X}-t_{\alpha }(n-1)\frac{S}{\sqrt{n}}$
• 单侧置信上限：$\bar{X}+t_{\alpha }(n-1)\frac{S}{\sqrt{n}}$

例题：某批电子元件寿命服从正态分布，现抽取10个测得平均寿命 $\bar{x}=1200$ 小时，标准差 $s=100$ 小时，求平均寿命的95%单侧置信下限。
解：$t_{0.05}(9)=1.833$
单侧置信下限：$1200-1.833\times \frac{100}{\sqrt{10}}=1200-57.98=1142.02$ 小时

历年考题分析

考题1：设总体 $X$ 服从参数为 $\lambda$ 的泊松分布，$X_1,X_2,\cdots ,X_n$ 是样本，求 $\lambda$ 的矩估计量和最大似然估计量。
解：
矩估计：$E(X)=\lambda =\bar{X}$，故 $\hat{\lambda }=\bar{X}$
最大似然估计：
似然函数 $L(\lambda )={\prod }_{i=1}^n\frac{{\lambda }^{x_i}{e}^{-\lambda }}{x_i!}$

$$\ln L(\lambda )=\sum _{i=1}^n{x}_i\ln \lambda -n\lambda -\sum _{i=1}^n\ln (x_i!)$$

$$\frac{d\ln L}{d\lambda }=\frac{\sum x_i}{\lambda }-n=0$$

解得 $\hat{\lambda }=\bar{X}$

考题2：从正态总体 $N(\mu ,4)$ 中抽取容量为9的样本，测得样本均值 $\bar{x}=5$，求 $\mu$ 的95%置信区间。
解：$z_{0.025}=1.96$
置信区间：$\left(5-1.96\times \frac{2}{3},5+1.96\times \frac{2}{3}\right)=(3.693,6.307)$