概率论与数理统计教程(六)-参数估计05：贝叶斯估计

§ 6.5 贝叶斯估计
在统计学中有两个大的学派: 频率学派 (也称经典学派) 和贝叶斯学派.
本书主要介绍频率学派的理论和方法,此一小节将对贝叶斯学派做些介绍.
6.5.1 统计推断的基础
我们在前面已经讲过,统计推断是根据样本信息对总体分布或总体的特征数进行推断,
事实上, 这是经典学派对统计推断的规定, 这里的统计推断使用到两种信息:
总体信息和样本信息; 而贝叶斯学派认为, 除了上述两种信息以外,
统计推断还应该使用第三种信息:先验信息.下面我们先把三种信息加以说明.
1. 总体信息
总体信息即总体分布或总体所属分布族提供的信息.臂如,若已知
“总体是正态分布”, 则我们就知道很多信息.臂如: 总体的一切阶矩都存在,
总体密度函数关于均值对称, 总体的所有性质由其一、二阶矩决定,
有许多成熟的统计推断方法可供我们选用等.总体信息是很重要的信息,为了获取此种信息往往耗资巨大.
比如,我国为确认国产轴承寿命分布为韦布尔分布前后花了五年时间,
处理了几千个数据后才定下的.
2. 样本信息
样本信息即抽取样本所得观测值提供的信息. 臂如, 在有了样本观测值后,
我们可以根据它大概知道总体的一些特征数,
如总体均值、总体方差等在一个什么范围内. 这是最"新鲜"的信息,
并且越多越好,
希望通过样本对总体分布或总体的某些特征作出较精确的统计推断.
没有样本就没有统计学可言.
3. 先验信息
如果我们把抽取样本看作做一次试验, 则样本信息就是试验中得到的信息.
实际中, 人们在试验之前对要做的问题在经验上和资料上总是有所了解的,
这些信息对统计推断是有益的. 先验信息即是抽样 (试验)
之前有关统计问题的一些信息.一般说来,先验信息来源于经验和历史资料.
先验信息在日常生活和工作中是很重要的. 先看一个例子.
例 6.5.1 在某工厂的产品中每天要抽检 $n$
件以确定该厂产品的质量是否满足要求. 产品质量可用不合格品率 $p$ 来度量,
也可以用 $n$ 件抽查产品中的不合格品件数 $\theta$ 表示.
由于生产过程有连续性, 可以认为每天的产品质量是有关联的, 即是说,
在估计现在的 $p$ 时,
以前所积累的资料应该是可供使用的,这些积累的历史资料就是先验信息.为了能使用这些先验信息,需要对它进行加工.
譬如,在经过一段时间后,就可根据历史资料对过去 $n$ 件产品中的不合格品件数
$\theta$ 构造一个分布
$$P(\theta =i)={\pi }_i,i=1,2,\cdots ,n.$$
这种对先验信息进行加工获得的分布今后称为先验分布.
这种先验分布是对该厂过去产品的不合格品率的一个全面看法.
基于上述三种信息进行统计推断的统计学称为贝叶斯统计学.
它与经典统计学的差别就在于是否利用先验信息.贝叶斯统计在重视使用总体信息和样本信息的同时,还注意先验信息的收集、挖掘和加工,
使它数量化, 形成先验分布,
参加到统计推断中来.忽视先验信息的利用,有时是一种浪费,有时还会导出不合理的结论.
贝叶斯学派的基本观点是: 任一未知量 $\theta$ 都可看作随机变量,
可用一个概率分布去描述, 这个分布称为先验分布; 在获得样本之后,
总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量
$\theta$ 的新分布一一后验分布; 任何关于 $\theta$ 的统计推断都应该基于
$\theta$ 的后验分布进行.
关于未知量是否可看作随机变量在经典学派与贝叶斯学派间争论了很长时间.
因为任一未知量都有不确定性, 而在表述不确定性的程度时,
概率与概率分布是最好的语言,
因此把它看成随机变量是合理的.如今经典学派已不反对这一观点:
著名的美国经典统计学家莱曼 (Lehmann, E.L.)
在他的《点估计理论》一书中写道:
“把统计问题中的参数看作随机变量的实现要比看作未知参数更合理一些”.
如今两派的争论焦点是:如何利用各种先验信息合理地确定先验分布.
这在有些场合是容易解决的,
但在很多场合是相当困难的,关于这方面问题的讨论可参阅文献[11].
6.5.2 贝叶斯公式的密度函数形式
贝叶斯公式的事件形式已在 § 1.4 节中叙述.
这里用随机变量的概率函数再一次叙述贝叶斯公式,
并从中介绍贝叶斯学派的一些具体想法.
(1) 总体依赖于参数 $\theta$ 的概率函数在经典统计中记为
$p(x;\theta )$, 它表示参数空间 $\Theta$中不同的 $\theta$
对应不同的分布. 在贝叶斯统计中应记为 $p(x\mid \theta )$,
它表示在随机变量 $\theta$ 取某个给定值时总体的条件概率函数.
(2) 根据参数 $\theta$ 的先验信息确定先验分布 $\pi (\theta )$.
(3) 从贝叶斯观点看, 样本 $X=\left(x_1,x_2,\cdots ,x_n\right)$
的产生要分两步进行. 首先设想从先验分布 $\pi (\theta )$ 产生一个个体
${\theta }_0$. 这一步是 “老天爷” 做的, 人们是看不到的,
故用"设想"二字.第二步从 $p\left(\mathbf{X}\mid {\theta }_0\right)$
中产生一组样本. 这时样本
$\mathbf{X}=\left(x_1,x_2,\cdots ,x_n\right)$
的联合条件概率函数为
$$p\left(\mathbf{X}\mid {\theta }_0\right)=p\left(x_1,x_2,\cdots ,x_n\mid {\theta }_0\right)=\prod _{i=1}^{n}p\left(x_i\mid {\theta }_0\right),$$
这个分布综合了总体信息和样本信息.
(4) 由于 ${\theta }_0$ 是设想出来的, 仍然是未知的, 它是按先验分布
$\pi (\theta )$ 产生的. 为把先验信息综合进去, 不能只考虑 ${\theta }_0$, 对
$\theta$ 的其他值发生的可能性也要加以考虑, 故要用 $\pi (\theta )$
进行综合. 这样一来, 样本 $X$ 和参数 $\theta$ 的联合分布为
$$h(\mathbf{X},\mathbf{\theta })=p(\mathbf{X}\mid \mathbf{\theta })\pi (\theta ).$$
这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了.
(5) 我们的目的是要对未知参数 $\theta$ 作统计推断. 在没有样本信息时,
我们只能依据先验分布对 $\theta$ 作出推断. 在有了样本观测值
$\mathbf{X}=\left(x_1,x_2,\cdots ,x_n\right)$ 之后,
我们应依据 $h(\mathbf{X}$, $\theta )$ 对 $\theta$ 作出推断. 若把
$h(\mathbf{X},\theta )$ 作如下分解:
$$h(\mathbf{X},\mathbf{\theta })=\pi (\theta \mid \mathbf{X})m(\mathbf{X}),$$
其中 $m(\mathbf{X})$ 是 $\mathbf{X}$ 的边际概率函数
$$m(\mathbf{X})={\int }_{\theta }h(\mathbf{X},\theta )\mathrm{d}\theta =$$