概率论与数理统计系列笔记之第六章——参数估计

概率论与数理统计笔记（第六章——参数估计）

对于统计专业来说，书本知识总有遗忘，翻看教材又太麻烦，于是打算记下笔记与自己的一些思考，主要参考用书是茆诗松老师编写的《概率论与数理统计教程》，其他知识待后续书籍补充。

一般场合, 常用 $\theta$ 表示参数, 参数 $\theta$ 所有可能取值组成的集合称为参数空间, 常用 $\Theta$ 表示.

6.1 点估计的概念以及无偏性

6.1.1 点估计及无偏性

定义 6.1.1
设 $x_1,\cdots ,x_n$ 是来自总体的一个样本, 用于估计末知参数 $\theta$ 的统计量 $\hat{\theta }=\hat{\theta }\left(x_1,\cdots ,x_n\right)$ 称为 $\theta$ 的估计量, 或称为 $\theta$ 的点估计, 简称估计.

定义 6.1.2
设 $\hat{\theta }=\hat{\theta }\left(x_1,\cdots ,x_n\right)$ 是 $\theta$ 的一个估计, $\theta$ 的参数空间为 $\Theta$, 若对任意的 $\theta \in \Theta$, 有
$$E_{\theta }(\hat{\theta })=\theta ,$$
则称 $\hat{\theta }$ 是 $\theta$ 的无偏估计, 否则称为有偏估计.并不是所有的参数都存在无偏估计, 当参数存在无偏估计时, 我们称该参数是可估的, 否则称它是不可估的.

6.1.2 有效性

定义 6.1.3 设 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 是 $\theta$ 的两个无偏估计, 如果对任意的 $\theta \in \Theta$ 有
$$\mathrm{Var}\left({\hat{\theta }}_1\right)⩽\mathrm{Var}\left({\hat{\theta }}_2\right),$$
且至少有一个 $\theta \in \Theta$ 使得上述不等号严格成立, 则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效.

6.2 矩估计以及相合性

6.2.1 替换原理和矩法估计

矩法估计的统计思想 (替换原理) 十分简单明确, 众人都能接受, 使用场合甚广. 它的实质是用经验分布函数去替换总体分布, 其理论基础是格里纹科定理.

6.2.2 概率函数已知时末知参数的矩估计

设总体具有已知的概率函数 $p\left(x;{\theta }_1,\cdots ,{\theta }_k\right),\left({\theta }_1,\cdots ,{\theta }_k\right)\in \Theta$ 是末知参数或参数向量, $x_1,\cdots ,x_n$ 是样本. 假定总体的 $k$ 阶原点矩 ${\mu }_k$ 存在, 则对所有的 $j$, $0<j<k,{\mu }_j$ 都存在, 若假设 ${\theta }_1,\cdots ,{\theta }_k$ 能够表示成 ${\mu }_1,\cdots ,{\mu }_k$ 的函数 ${\theta }_j={\theta }_j\left({\mu }_1,\cdots ,{\mu }_k\right)$, 则可给出诸 ${\theta }_j$ 的矩估计:
$${\hat{\theta }}_j={\theta }_i\left(a_1,\cdots ,a_k\right),j=1,\cdots ,k,$$

其中 $a_1,\cdots ,a_i$ 是前 $k$ 阶样本原点矩 $a_j=\frac{1}{n}{\sum }_{i=1}^n{x}_i^J$. 进一步, 如果我们要估计 ${\theta }_1,\cdots ,{\theta }_k$ 的函数 $\eta =g\left({\theta }_1,\cdots ,{\theta }_k\right)$, 则可直接得到 $\eta$ 的矩估计
$$\hat{\eta }=g\left({\hat{\theta }}_1,\cdots ,{\hat{\theta }}_k\right)\text{, }$$

6.2.3 相合性

定义 6.2.1 设 $\theta \in \Theta$ 为末知参数, ${\hat{\theta }}_n={\hat{\theta }}_n\left(x_1,\cdots ,x_n\right)$ 是 $\theta$ 的一个估计量, $n$ 是样本容量, 若对任何一个 $\epsilon >0$, 有
$$\underset{n\to \infty }{\lim }P\left(\left|{\hat{\theta }}_n-\theta \right|⩾\epsilon \right)=0,$$
则称 ${\hat{\theta }}_n$ 为参数 $\theta$ 的相合估计.
相合性被认为是对估计的一个最基本要求,。

定理 6.2.1 设 ${\hat{\theta }}_{\mathrm{n}}={\hat{\theta }}_n\left(x_1,\cdots ,x_n\right)$ 是 $\theta$ 的一个估计量, 若
$$\underset{n\to \infty }{\lim }E\left({\hat{\theta }}_n\right)=\theta ,\underset{n\to \infty }{\lim }\mathrm{Var}\left({\hat{\theta }}_n\right)=0,$$
则 ${\hat{\theta }}_n$ 是 $\theta$ 的相合估计.

定理 6.2.2 若 ${\hat{\theta }}_{n1},\cdots ,{\hat{\theta }}_{nk}$ 分别是 ${\theta }_1,\cdots ,{\theta }_k$ 的相合估计, $\eta =g\left({\theta }_1,\cdots ,{\theta }_k\right)$ 是 ${\theta }_1,\cdots ,{\theta }_k$ 的连续函数, 则 ${\hat{\eta }}_n=g\left({\hat{\theta }}_{n1},\cdots ,{\hat{\theta }}_{nk}\right)$ 是 $\eta$ 的相合估计.

6.3 最大似然估计与 $\mathbf{EM}$ 算法

6.3.1 最大似然估计

定义 6.3.1 设总体的概率函数为 $p(x;\theta ),\theta \in \Theta$, 其中 $\theta$ 是一个末知参数或几个末知参数组成的参数向量, $\Theta$ 是参数空间, $x_1,\cdots ,x_n$ 是来自该总体的样本, 将样本的联合概率函数看成 $\theta$ 的函数, 用 $L\left(\theta ;x_1,\cdots ,x_n\right)$ 表示, 简记为 $L(\theta )$,
$$L(\theta )=L\left(\theta ;x_1,\cdots ,x_n\right)=p\left(x_1;\theta \right)p\left(x_2;\theta \right)\cdots p\left(x_n;\theta \right),$$
$L(\theta )$ 称为样本的似然函数. 如果某统计量 $\hat{\theta }=\hat{\theta }\left(x_1,\cdots ,x_n\right)$ 满足
$$L(\hat{\theta })=\underset{\theta \in \theta }{\max }L(\theta ),$$
则称 $\hat{\theta }$ 是 $\theta$ 的最大似然估计,简记为 MLE (maximum likelihood estimate).

最大似然估计有一个简单而有用的性质: 如果 $\hat{\theta }$ 是 $\theta$ 的最大似然估计, 则对 任一函数 $g(\theta )$, 其最大似然估计为 $g(\hat{\theta })$. 该性质称为最大似然估计的不变性,

6.3.2 EM 算法

MLE 是一种非常有效的参数估计方法,但当分布中有多余参数或数据为截尾或缺失时, 其 MLE 的求取是比较困难的. 于是 Dempster 等人于 1977 年提出了 EM 算法, 其出发点是把求 MLE 的过程分两步走, 第一步求期望, 以便把多余的部分去掉,第二步求极大值.

6.3.3 渐近正态性

定义 6.3.2
参数 $\theta$ 的相合估计 ${\hat{\theta }}_n$ 称为渐近正态的, 若存在趋于 0 的非负常数序列 ${\sigma }_n(\theta )$, 使得 $\frac{{\hat{\theta }}_n-\theta }{{\sigma }_n(\theta )}$ 依分布收敛于标准正态分布. 这时也称 ${\hat{\theta }}_n$ 服从渐近正态分布 $N\left(\theta ,{\sigma }_n^2(\theta )\right)$, 记为 ${\hat{\theta }}_n\sim AN\left(\theta ,{\sigma }_n^2(\theta )\right).{\sigma }_n^2(\theta )$ 称为 ${\hat{\theta }}_n$ 的渐近方差.

定理 6.3.1 设总体 $X$ 有密度函数 $p(x;\theta ),\theta \in \Theta ,\Theta$ 为非退化区间, 假定
(1) 对任意的 $x$, 偏导数 $\frac{\partial \ln p}{\partial \theta },\frac{{\partial }^2\ln p}{\partial {\theta }^2}$ 和 $\frac{{\partial }^3\ln p}{\partial {\theta }^3}$ 对所有 $\theta \in \Theta$ 都存在;
(2) $\forall \theta \in \Theta$, 有
$$\left|\frac{\partial p}{\partial \theta }\right|<F_1(x),\left|\frac{{\partial }^{2}p}{\partial {\theta }^2}\right|<F_2(x),\left|\frac{{\partial }^3\ln p}{\partial {\theta }^3}\right|<F_3(x),$$
其中函数 $F_1(x),F_2(x),F_3(x)$ 满足
$$\begin{array}{c}{\int }_{-\infty }^{\infty }{F}_1(x)\mathrm{d}x<\infty ,{\int }_{-\infty }^{\infty }{F}_2(x)\mathrm{d}x<\infty ,\\ \underset{\theta \in \Theta }{\sup }{\int }_{-\infty }^{\infty }{F}_3(x)p(x;\theta )\mathrm{d}x<\infty ;\end{array}$$
(3) $\forall \theta \in \Theta ,0<I(\theta )\equiv {\int }_{-\infty }^{\infty }{\left(\frac{\partial \ln p}{\partial \theta }\right)}^{2}p(x;\theta )\mathrm{d}x<\infty$.
若 $x_1,\cdots ,x_n$ 是来自该总体的样本, 则存在末知参数 $\theta$ 的最大似然估计 ${\hat{\theta }}_n=$ ${\hat{\theta }}_n\left(x_1,\cdots ,x_n\right)$, 且 ${\hat{\theta }}_n$ 具有相合性和渐近正态性, ${\hat{\theta }}_n\sim AN\left(\theta ,\frac{1}{nI(\theta )}\right)$.

6.4 最小方差无偏估计

6.4.1 均方误差

相合性和渐近正态性是在大样本场合下评价估计好坏的两个重要标准, 在样本量不是很大时, 人们更加倾向于使用一些基于小样本的评价标准。评价一个点估计的好坏使用的度量指标总是点估计值 $\hat{\theta }$ 与参数真值 $\theta$ 的距离的函数,
$$\begin{array}{rl}& \mathrm{MSE}(\hat{\theta })=E(\hat{\theta }-\theta {)}^2\\ & =E[(\hat{\theta }-E\hat{\theta })+(E\hat{\theta }-\theta ){]}^2\\ & =E(\hat{\theta }-E\hat{\theta }{)}^2+(E\hat{\theta }-\theta {)}^2+2E[(\hat{\theta }-E\hat{\theta })(E\hat{\theta }-\theta )]\\ & =\mathrm{Var}(\hat{\theta })+(E\hat{\theta }-\theta {)}^2.\end{array}$$
因此, 均方误差由点估计的方差与偏差 $|E\hat{\theta }-\theta |$ 的平方两部分组成.

定义 6.4.1
设有样本 $x_1,\cdots ,x_n$, 对待估参数 $\theta$, 设有一个估计类,称 $\hat{\theta }\left(x_1,\cdots ,x_n\right)$ 是该估计类中 $\theta$ 的一致最小均方误差估计, 如果对该估计类中另外任意一个 $\theta$ 的估计 $\tilde{\theta }$, 在参数空间 $\Theta$ 上都有
$${\mathrm{MSE}}_{\theta }(\hat{\theta })⩽{\mathrm{MSE}}_{\theta }(\tilde{\theta }).$$

6.4.2 最小方差无偏估计

定义 6.4.2
对参数估计问题, 设 $\hat{\theta }$ 是 $\theta$ 的一个无偏估计, 如果对另外任意一个 $\theta$ 的无偏估计 $\tilde{\theta }$, 在参数空间 $\Theta$ 上都有
$${\mathrm{Var}}_{\theta }(\hat{\theta })⩽{\mathrm{Var}}_{\theta }(\tilde{\theta }),$$
则称 $\hat{\theta }$ 是 $\theta$ 的一致最小方差无偏估计, 简记为 UMVUE.

定理 6.4.1 设 $X=\left(x_1,\cdots ,x_n\right)$ 是来自某总体的一个样本, $\hat{\theta }=\hat{\theta }(X)$ 是 $\theta$ 的 一个无偏估计, $\mathrm{Var}(\hat{\theta })<\infty$. 则 $\hat{\theta }$ 是 $\theta$ 的 UMVUE 的充要条件是, 对任意一个满足 $E(\phi (X))=0$ 和 $\mathrm{Var}(\phi (X))<\infty$ 的 $\phi (X)$, 都有
$${\mathrm{Cov}}_{\theta }(\hat{\theta },\phi )=0,\forall \theta \in \Theta .$$

6.4.3 充分性原则

定理 6.4.2 设总体概率函数是 $p(x;\theta ),x_1,\cdots ,x_n$ 是其样本, $T=T(x_1,\cdots$, $x_n)$ 是 $\theta$ 的充分统计旺, 则对 $\theta$ 的任一无偏估计 $\hat{\theta }=\hat{\theta }\left(x_1,\cdots ,x_n\right)$, 令 $\tilde{\theta }=E(\hat{\theta }\mid T)$, 则 $\tilde{\theta }$ 也是 $\theta$ 的无偏估计, 且
$$\mathrm{Var}(\tilde{\theta })⩽\mathrm{Var}(\hat{\theta }).$$

6.4.4 Cramer-Rao 不等式

定义 6.4.3
设总体的概率函数 $p(x;\theta ),\theta \in \Theta$ 满足下列条件:
(1) 参数空间 $\Theta$ 是直线上的一个开区间;
(2) 支撑 S = { x : p ( x ; θ ) > 0 } S=\{x: p(x ; \theta)>0\} S={x:p(x;θ)>0} 与 $\theta$ 无关;
(3) 导数 $\frac{\partial }{\partial \theta }p(x;\theta )$ 对一切 $\theta \in \Theta$ 都存在;
(4) 对 $p(x;\theta )$, 积分与微分运算可交换次序, 即
$$\frac{\partial }{\partial \theta }{\int }_{-\infty }^{\infty }p(x;\theta )\mathrm{d}x={\int }_{-\infty }^{\infty }\frac{\partial }{\partial \theta }p(x;\theta )\mathrm{d}x;$$
(5) 期望 $E{\left[\frac{\partial }{\partial \theta }\ln p(x;\theta )\right]}^2$ 存在,
则称$$I(\theta )=E{\left[\frac{\partial }{\partial \theta }\ln p(x;\theta )\right]}^2$$
为总体分布的费希尔信息量.

定理 6.4.3 (Cramer-Rao 不等式) 设总体分布 $p(x;\theta )$ 满足定义 6.4.3 的 条件, $x_1,\cdots ,x_n$ 是来自该总体的样本, $T=T\left(x_1,\cdots ,x_n\right)$ 是 $g(\theta )$ 的任一个无偏估计, $g^{\prime }(\theta )=\frac{\partial g(\theta )}{\partial \theta }$ 存在, 且对 $\Theta$ 中一切 $\theta$, 对
$$g(\theta )={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }T\left(x_1,\cdots ,x_n\right)\prod _{i=1}^{n}p\left(x_i;\theta \right)\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n$$
的微商可在积分号下进行, 即
$$\begin{array}{rl}{g}^{\prime }(\theta )& ={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }T\left(x_1,\cdots ,x_n\right)\frac{\partial }{\partial \theta }\left(\prod _{i=1}^{n}p\left(x_i;\theta \right)\right)\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n\\ & ={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }T\left(x_1,\cdots ,x_n\right)\left[\frac{\partial }{\partial \theta }\ln \prod _{i=1}^{n}p\left(x_i;\theta \right)\right]\prod _{i=1}^{n}p\left(x_i;\theta \right)\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n.(\mathrm{6.4.4})\end{array}$$
对离散总体, 则将上述积分改为求和符号后, 等式仍然成立. 则有
$$\mathrm{Var}(T)⩾{\left[g^{\prime }(\theta )\right]}^2/(nI(\theta ))\text{. (6.4.5) }$$
(6. 4. 5) 称为克拉默-拉奥 (C-R) 不等式, ${\left[g^{\prime }(\theta )\right]}^2/(nI(\theta ))$ 称为 $g(\theta )$ 的无偏估计的方差的 C-R 下界, 简称 $g(\theta )$ 的 C-R 下界. 特别, 对 $\theta$ 的无偏估计 $\hat{\theta }$, 有 $\mathrm{Var}(\hat{\theta })⩾(nI(\theta ){)}^{-1}$.

6.5 贝叶斯估计

6.5.1 统计推断的基础

(1)总体信息
总体信息即总体分布或总体所属分布族提供的信息.
(2) 样本信息
样本信息即抽取样本所得观测值提供的信息.
(3) 先验信息
先验信息即是抽样 (试验)之前有关统计问题的一些信息. 一般说来, 先验信息来源于经验和历史资料.
基于上述三种信息进行统计推断的统计学称为贝叶斯统计学.
贝叶斯学派的基本观点是: 任一末知量 $\theta$ 都可看作随机变量, 可用一个概率分布去描述, 这个分布称为先验分布; 在获得样本之后, 总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于末知量 $\theta$ 的新分布一一后验分布; 任 何关于 $\theta$ 的统计推断都应该基于 $\theta$ 的后验分布进行.

6.5.2 贝叶斯公式的密度函数形式

(1) 总体依赖于参数 $\theta$ 的概率函数在经典统计中记为 $p(x;\theta )$, 它表示参数 空间 $\Theta$ 中不同的 $\theta$ 对应不同的分布. 在贝叶斯统计中应记为 $p(x\mid \theta )$, 它表示在随机变量 $\theta$ 取某个给定值时总体的条件概率函数.
(2) 根据参数 $\theta$ 的先验信息确定先验分布 $\pi (\theta )$.
(3) 从贝叶斯观点看, 样本 $X=\left(x_1,\cdots ,x_n\right)$ 的产生要分两步进行. 首先设想从先验分布 $\pi (\theta )$ 产生一个样本 ${\theta }_0$. 这一步是 “老天爷” 做的, 人们是看不到的, 故用“设想”二字. 第二步从 $p\left(\mathbf{X}\mid {\theta }_0\right)$ 中产生一组样本. 这时样本 $\mathbf{X}=\left(x_1,\cdots ,x_n\right)$ 的联合条件概率函数为
$$p\left(\mathbf{X}\mid {\theta }_0\right)=p\left(x_1,\cdots ,x_n\mid {\theta }_0\right)=\prod _{i=1}^{n}p\left(x_i\mid {\theta }_0\right),$$
这个分布综合了总体信息和样本信息.
(4) 由于 ${\theta }_0$ 是设想出来的, 仍然是末知的, 它是按先验分布 $\pi (\theta )$ 产生的. 为把先验信息综合进去, 不能只考虑 ${\theta }_0$, 对 $\theta$ 的其他值发生的可能性也要加以考虑, 故要用 $\pi (\theta )$ 进行综合. 这样一来, 样本 $X$ 和参数 $\theta$ 的联合分布为
$$h(X,\theta )=p(X|\theta )\pi (\theta ).$$
这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了.
(5) 我们的目的是要对末知参数 $\theta$ 作统计推断. 在没有样本信息时, 我们只 能依据先验分布对 $\theta$ 作出推断. 在有了样本观测值 $X=\left(x_1,\cdots ,x_n\right)$ 之后, 我们应依据 $h(X,\theta )$ 对 $\theta$ 作出推断. 若把 $h(X,\theta )$ 作如下分解:
$$h(\mathbf{X},\theta )=\pi (\theta \mid \mathbf{X})m(\mathbf{X}),$$
其中 $m(X)$ 是 $\mathbf{X}$ 的边际概率函数
$$m(\mathbf{X})={\int }_{\theta }h(\mathbf{X},\theta )\mathrm{d}\theta ={\int }_{\mathbf{\theta }}p(\mathbf{X}\mid \theta )\pi (\theta )\mathrm{d}\theta ,$$
它与 $\theta$ 无关, 或者说 $m(\mathbf{X})$ 中不含 $\theta$ 的任何信息. 因此能用来对 $\theta$ 作出推断的仅是条件分布 $\pi (\theta \mid \mathbf{X})$, 它的计算公式是
$$\pi (\theta \mid \mathbf{X})=\frac{h(\mathbf{X},\theta )}{m(\mathbf{X})}=\frac{p(\mathbf{X}\mid \theta )\pi (\theta )}{{\int }_{\theta }p(\mathbf{X}\mid \theta )\pi (\theta )\mathrm{d}\theta }.$$
这个条件分布称为 $\theta$ 的后验分布, 它集中了总体、样本和先验中有关 $\theta$ 的一切信 息.

6.5.3 贝叶斯估计

由后验分布 $\pi (\theta \mid X)$ 估计 $\theta$ 有三种常用的方法:

• 使用后验分布的密度函数最大值点作为 $\theta$ 的点估计的最大后验估计.
• 使用后验分布的中位数作为 $\theta$ 的点估计的后验中位数估计.
• 使用后验分布的均值作为 $\theta$ 的点估计的后验期望估计.

用得最多的是后验期望估计,它一般也简称为贝叶斯估计, 记为 ${\hat{\theta }}_B$.

6.5.4 共轭先验分布

定义 6.5.1
设 $\theta$ 是总体分布 $p(x;\theta )$ 中的参数, $\pi (\theta )$ 是其先验分布, 若对任意来自 $p(x;\theta )$ 的样本观测值得到的后验分布 $\pi (\theta \mid X)$ 与 $\pi (\theta )$ 属于同一个分布族, 则称该分布族是 $\theta$ 的共轭先验分布 (族).

6.6 区间估计

6.6.1 区间估计的概念

定义 6.6.1
设 $\theta$ 是总体的一个参数, 其参数空间为 $\Theta ,x_1,\cdots ,x_n$ 是来自该总体的样本, 对给定的一个 $\alpha (0<\alpha <1)$, 假设有两个统计量 ${\hat{\theta }}_L={\hat{\theta }}_L\left(x_1,\cdots ,x_n\right)$ 和 ${\hat{\theta }}_U={\hat{\theta }}_U\left(x_1,\cdots ,x_n\right)$, 若对任意的 $\theta \in \Theta$, 有
$$P_{\theta }\left({\hat{\theta }}_L⩽\theta ⩽{\hat{\theta }}_v\right)⩾1-\alpha ,$$
则称随机区间 $\left[{\hat{\theta }}_L,{\hat{\theta }}_U\right]$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间, 或简称 $\left[{\hat{\theta }}_L,{\hat{\theta }}_U\right]$ 是 $\theta$ 的 $1-\alpha$ 置信区间, ${\hat{\theta }}_L$ 和 ${\hat{\theta }}_U$ 分别称为 $\theta$ 的 (双侧) 置信下限和置信上限.

定义 6.6.2
沿用 定义 6.6.1 的记号, 如对给定的 $\alpha (0<\alpha <1)$, 对任意的 $\theta \in \Theta$, 有
$$P_{\theta }\left({\hat{\theta }}_L⩽\theta ⩽{\hat{\theta }}_v\right)=1-\alpha ,$$
则称 $\left[{\hat{\theta }}_L,{\hat{\theta }}_U\right]$ 为 $\theta$ 的 $1-\alpha$ 同等置信区间.

定义 6.6.3
设 ${\hat{\theta }}_L={\hat{\theta }}_L\left(x_1,\cdots ,x_n\right)$ 是统计量, 对给定的 $\alpha \in (0,1)$ 和任意的 $\theta \in \Theta$, 有
$$P_{\theta }\left({\hat{\theta }}_L⩽\theta \right)⩾1-\alpha ,\forall \theta \in \Theta ,$$
则称 ${\hat{\theta }}_L$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的 (单侧) 置信下限. 假如等号对一切 $\theta \in \Theta$ 成立, 则称 ${\hat{\theta }}_L$ 为 $\theta$ 的 $1-\alpha$ 同等置信下限.

定义 6.6.4
设 ${\hat{\theta }}_U={\hat{\theta }}_U\left(x_1,\cdots ,x_n\right)$ 是统计量, 对给定的 $\alpha \in (0,1)$ 和任意的 $\theta \in \Theta$, 有
$$P_{\theta }\left({\hat{\theta }}_U⩾\theta \right)⩾1-\alpha ,$$
则称 ${\hat{\theta }}_U$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的(单侧) 置信上限. 若等号对一切 $\theta \in \Theta$ 成立, 则称 ${\hat{\theta }}_U$ 为 $\theta$ 的 $1-\alpha$ 同等置信上限.

6.6.2 枢轴量法

构造末知参数 $\theta$ 的置信区间的最常用的方法是枢轴量法, 其步聚可以概括为如下三步：

1. 设法构造一个样本和 $\theta$ 的函数 $G=G\left(x_1,\cdots ,x_{\mathrm{n}},\theta \right)$ 使得 $G$ 的分布不依赖于末知参数. 一般称具有这种性质的 $G$ 为枢轴量.
2. 适当地选择两个常数 $c,d$, 使对给定的 $\alpha (0<\alpha <1)$, 有
   $$P(c⩽G⩽d)=1-\alpha .$$
   在离散场合, 上式等号改为大于等于 $(⩾)$.
3. 假如能将 $c⩽G⩽d$ 进行不等式等价变形化为 ${\hat{\theta }}_L⩽\theta ⩽{\hat{\theta }}_U$, 则有
   $$P_{\theta }\left({\hat{\theta }}_L⩽\theta ⩽{\hat{\theta }}_U\right)=1-\alpha ,$$
   这表明 $\left[{\hat{\theta }}_L,{\hat{\theta }}_U\right]$ 是 $\theta$ 的 $1-\alpha$ 同等置信区间.

枢轴量的寻找一般从 $\theta$ 的点估计出发. 而满足的 $c,d$ 可以有很多, 选择的目的是平均长度 $E_{\theta }\left({\hat{\theta }}_U-{\hat{\theta }}_L\right)$ 尽可能短. 假如可以找到这样的 $c,d$ 使 $E_{\theta }\left({\hat{\theta }}_U-{\hat{\theta }}_L\right)$ 达到最短当然是最好的, 不过在不少场合很难做到这一点. 故常这样选择 $c$ 和 $d$, 使得两个尾部概率各为 $\alpha /2$, 即
$$P_{\theta }(G<c)=P_{\theta }(G>d)=\alpha /2,$$
这样得到的置信区间称为等尾置信区间. 实用的置信区间大都是等尾置信区间.

6.6.3 单个正态总体参数的置信区间

正态总体 $N\left(\mu ,{\sigma }^2\right)$ 是最常见的分布, 本小节中我们讨论它的两个参数的置信区间.
一、 $\sigma$ 已知时 $\mu$ 的置信区间
在这种情况下, 由于 $\mu$ 的点估计为 $\bar{x}$, 其分布为 $N\left(\mu ,{\sigma }^2/n\right)$, 因此枢轴量可选为 $G=\frac{\bar{x}-\mu }{\sigma /\sqrt{n}}\sim N(0,1),c$ 和 $d$ 应满足 $P(c⩽G⩽d)=\Phi (d)-\Phi (c)=1-\alpha$, 经过不等式变形可得$$P_{\mu }(\bar{x}-d\sigma /\sqrt{n}⩽\mu ⩽\bar{x}-c\sigma /\sqrt{n})=1-\alpha ,$$
由此给出了 $\mu$ 的 $1-\alpha$ 同等置信区间为
$$\left[\bar{x}-u_{1-\mathrm{a}/2}\sigma /\sqrt{n},\bar{x}+u_{1-\alpha /2}\sigma /\sqrt{n}\right].$$

二、 $\sigma$ 末知时 $\mu$ 的置信区间
这时可用 $t$ 统计量, 因为 $t=\frac{\sqrt{n}(\bar{x}-\mu )}{s}\sim t(n-1)$, 因此 $t$ 可以用来作为枢轴量, 可得到 $\mu$ 的 $1-\alpha$ 置信区间为
$$\bar{x}\pm t_{1-\alpha /2}(n-1)s/\sqrt{n}$$
此处 $s^2=\frac{1}{n-1}{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2$ 是 ${\sigma }^2$ 的无偏估计.

三、 ${\sigma }^2$ 的置信区间
我们只在 $\mu$ 末知的条件下讨论 ${\sigma }^2$ 的置信区间. 在 $5.3$ 中我们已经证明 $\frac{(n-1)s^2}{{\sigma }^2}\sim {\chi }^2(n-1)$, 给出 ${\sigma }^2$ 的 $1-\alpha$ 置信区间为
$$\left[(n-1)s^2/{\chi }_{1-\alpha /2}^2(n-1),(n-1)s^2/{\chi }_{n/2}^2(n-1)\right]\text{. }$$
将两端开方即得到标准差 $\sigma$ 的 $1-\alpha$ 置信区间.

6.6.4 大样本置信区间

设 $x_1,\cdots ,x_n$ 是来自二点分布 $b(1,p)$ 的样本, 现要求 $p$ 的 $1-\alpha$ 置信区间. 由中心极限定理知, 样本均值 $\bar{x}$ 的渐近分布为 $N\left(p,\frac{p(1-p)}{n}\right)$, 因此有
$$u=\frac{\bar{x}-p}{\sqrt{p(1-p)/n}}\dot{\sim }N(0,1).$$
可将置信区间近似为
$$\left[\bar{x}-u_{1-\alpha /2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}},\bar{x}+u_{1-\alpha /2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}}\right]\text{. }$$

6.6.5 样本量的确定

根据之前构建的置信区间长度判断。

6.6.6 两个正态总体下的置信区间

设 $x_1,\cdots ,x_m$ 是来自 $N\left({\mu }_1,{\sigma }_1^2\right)$ 的样本, $y_1,\cdots ,y_n$ 是来自 $N\left({\mu }_2,{\sigma }_2^2\right)$ 的样本, 且两个样本相互独立. $\bar{x}$ 与 $\bar{y}$ 分别是它们的样本均值, $s_x^2=\frac{1}{m-1}{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2$ 和 $s_y^2=\frac{1}{n-1}{\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2$ 分别是它们的样本方差. 下面讨论两个均值差和两个方差比的䍜信区间.
一、 ${\mu }_1-{\mu }_2$ 的置信区间

• 1. ${\sigma }_1^2$ 和 ${\sigma }_2^2$ 已知时
  此时有 $\bar{x}-\bar{y}\sim N\left({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}\right)$, 取枢轴量为$$u=\frac{\bar{x}-\bar{y}-\left({\mu }_1-{\mu }_2\right)}{\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}}\sim N(0,1),$$
  沿用前面多次用过的方法可以得到 ${\mu }_1-{\mu }_2$ 的 $1-\alpha$ 置信区间为
  $$\bar{x}-\bar{y}\pm u_{1-\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}$$

• 2. ${\sigma }_1^2={\sigma }_2^2={\sigma }^2$ 末知时此时有
  $$\begin{array}{c}\bar{x}-\bar{y}\sim N\left({\mu }_1-{\mu }_2,\left(\frac{1}{m}+\frac{1}{n}\right){\sigma }^2\right),\\ \frac{(m-1)s_{;}^2+(n-1)s_y^2}{{\sigma }^2}\sim {\chi }^2(m+n-2),\end{array}$$
  由于 $\bar{x},\bar{y},s_x^2,s_y^2$ 相互独立, 故可构造如下服从 $t$ 分布 $t(m+n-2)$ 的枢轴量
  $$t=\sqrt{\frac{mn(m+n-2)}{m+n}}\frac{\bar{x}-\bar{y}-\left({\mu }_1-{\mu }_2\right)}{\sqrt{(m-1)s_x^2+(n-1)s_y^2}}\sim t(m+n-2).$$
  记 $s_w^2=\frac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}$, 则 ${\mu }_1-{\mu }_2$ 的置信区间为
  $$\bar{x}-\bar{y}\pm \sqrt{\frac{m+n}{mn}}{s}_w{t}_{1-a/2}(m+n-2)$$

• 3. ${\sigma }_2^2/{\sigma }_1^2=c$ 已知时
  此时的处理方法与 2 中完全类似, 只需注意到
  记 $s^2=\frac{(m-1)s_x^2+(n-1)s_y^2/c}{m+n-2}$, 则 ${\mu }_1-{\mu }_2$ 的 $1-\alpha$ 置信区间为
  $$\bar{x}-\bar{y}\pm \sqrt{\frac{mc+n}{mn}}{s}_w{t}_{1-\alpha /2}(m+n-2),$$

• 4. 当 $m$ 和 $n$ 都很大时的近似置信区间
  若对 ${\sigma }_1^2,{\sigma }_2^2$ 没有什么信息, 当 $m,n$ 都很大时, 由中心极限定理知
  $$\frac{\bar{x}-\bar{y}-\left({\mu }_1-{\mu }_2\right)}{\sqrt{\frac{s^2}{m}+\frac{s^2}{n}}}\dot{\sim }N(0,1).$$
  由此可给出 ${\mu }_1-{\mu }_2$ 的 $1-\alpha$ 近似置信区间为
  $$\bar{x}-\bar{y}\pm u_{1-\alpha /2}\sqrt{\frac{s^2}{m}+\frac{s^2}{n}}.$$

• 5. 一般情况下的近似置信区间
  若对 ${\sigma }_1^2,{\sigma }_2^2$ 没有什么信息, $m,n$ 也不很大,求 ${\mu }_1-{\mu }_2$ 的精确置信区间, 这里介绍一种近似方法: 令 $s_0^2=s_x^2/m+s_y^2/n$, 取近似枢轴量
  $$T=\left[\bar{x}-\bar{y}-\left({\mu }_1-{\mu }_2\right)\right]/s_0,$$
  此时 $T$ 既不服从 $N(0,1)$ 也不服从 $t$ 分布. 但近似服从自由度为 $l$ 的 $t$ 分布, 其中 $l$ 由公式
  $$l=\frac{s_0^4}{\frac{s_x^4}{m^2(m-1)}+\frac{s_y^4}{n^2(n-1)}}$$
  决定, $l$ 一般不为整数, 可以取与 $l$ 最接近的整数代替之. 于是, 近似地有 $T\sim$ $t(l)$, 从而可得 ${\mu }_1-{\mu }_2$ 的 1- $\alpha$ 近似置信区间为
  $$\bar{x}-\bar{y}\pm s_0{t}_{1-a/2}(l)\text{. }$$

二、 ${\sigma }_1^2/{\sigma }_2^2$ 的置信区间
由于 $(m-1)s_x^2/{\sigma }_1^2\sim {\chi }^2(m-1),(n-1)s_y^2/{\sigma }_2^2\sim {\chi }^2(n-1)$, 且 $s_x^2$ 与 $s_y^2$ 相互独立, 故 可仿照 $F$ 变量构造如下权轴量:
$$F=\frac{s_i^2/{\sigma }_1^2}{s_y^2/{\sigma }_2^2}\sim F(m-1,n-1),$$
对给定的置信水平 1- $\alpha$, 由
$$P\left(F_{a/2}(m-1,n-1)⩽\frac{s_x^2}{s_y^2}\cdot \frac{{\sigma }_2^2}{{\sigma }_1^2}⩽F_{1-a/2}(m-1,n-1)\right)=1-\alpha ,$$
经不等式变形即给出 ${\sigma }_1^2/{\sigma }_2^2$ 的如下的 $1-\alpha$ 置信区间:
$$\left[\frac{s_x^2}{s_y^2}\cdot \frac{1}{F_{1-\alpha /2}(m-1,n-1)},\frac{s_s^2}{s_y^2}\cdot \frac{1}{F_{\alpha /2}(m-1,n-1)}\right].$$