一致 先验分布 后验分布_【贝叶斯统计】第一章 先验分布和后验分布.pdf

贝叶斯统计学

Bayesian Statistics

开课的话

 历史悠久：R. T. Bayes(1701-1761)

P. C. Laplace(1749-1827)

 争论不休：经典学派VS 贝叶斯学派

 困难所在：模型复杂，计算量巨大

 应用广泛：不但在统计本身而且在许多其它学科上

都有重要应用

 欣欣向荣：电子计算机；算法；近二十多年来大发展

 课堂纪律：有病有事一律向系里请假，而不是向我

请假。有系里批准的假条给我，我都没异议。每次

上课都点名，出勤率关系到你的成绩。

 学习态度：强烈的求知(非求职)欲望。

 作业：每次作业都有登记评分，另有贝叶斯统计英

译中作业(12月31 日完成上交。期末考试将有英

语题)。

 问与答：没有愚蠢的问题，只有愚蠢的回答。任何

问题都可向我提出，我会尽自己的能力，回答你们

的问题。如果没有提问，则认定你已经懂了所教内

容。

第一章先验分布与后验分布

1.1 三种信息

一、 总体信息，即总体分布或总体所属分布族给我们的信息，譬如，“总体是

正态分布”这一句话就给我们带来很多信息：它的密度函数是一条钟形曲线；它

的一切阶矩都存在；有关正态变量(服从正态分布的随机变量)的一些事件的概

2

率可以计算；有关正态分布可以导出 分布、t 分布和F 分布等重要分布；还



有许多成熟的点估计、区间估计和假设检验方法可供我们选用。总体信息是很

重要的信息，为了获取此种信息往往耗资巨大。

二、样本信息，即从总体抽取的样本给我们

提供的信息。这是最“新鲜”的信息，并

且愈多愈好。人们希望通过对样本的加工

和处理对总体的某些特征做出较为精确的

统计推断。没有样本就没有统计学可言。

这是大家都理解的事实。

 基于上述两种信息进行的统计推断被称为

经典统计学，它的基本观点是把数据(样

本)看成是来自具有一定概率分布的总体，

所研究的对象是这个总体而不局限于数据

本身。

三、先验信息，即在抽样之前有关统计问题的一些

信息，一般说来，先验信息主要来源于经验和历

史资料。先验信息在日常生活和工作中也经常可

见，不少人在自觉地或不自觉地使用它。看下面

二个例子。

例1.1 英国统计学家Savage(1961) 曾考察如下二个

统计实验：

 A ．一位常饮牛奶的妇女声称，她能辨别先倒进

杯子里的是茶还是牛奶。对此做了十次试验，她

都正确地说出了。

 B．一位音乐家声称，他能从一页乐谱辨别出是

海邓(Haydn)还是莫扎特(Mozart)的作品。

在十次这样的试验中，他都能正确辨别。

在这两个统计试验中，假如认为被实验者

是在猜测，每次成功的概率为0.5，那么十

次都猜中的概率为210 0.0009766 ，这是一

个很小的概率，是几乎不可能发生的，所

以“每次成功概率为0.5”的假设应被拒绝。

被实验者每次成功概率要比0.5大得多。这

就不是猜测，而是他们的经验在帮他们的

忙。可见经验(先验信息的一种)在推断

中不可忽视，应加以利用。

例1.2 “免检产品”是怎样决定的？某厂的产品每天都要抽检几件，获得



不合格率 的估计。经过一段时间后就积累大量的资料，根据这些历史资料

(先验信息的一种)对过去产品的不合格率可构造一个分布：

i

P ( )  , i 0，1，„ n

i

n

这个对先验信息进行加工获得的分布今后称为先验分布。这个先验分布是