连续变量的全概率和贝叶斯公式_贝叶斯数据分析笔记 ：序章 (I) 贝叶斯公式

这一系列的笔记将以 Bayesian Data Analysis 3rd，Andrew Gelman 为主要参考。本节是贝叶斯统计的第一篇，将从介绍贝叶斯公式开始，主要内容如下：

• 历史上的贝叶斯问题；
• 离散情况下的贝叶斯公式；
• 连续情况下的贝叶斯公式；
• 贝叶斯数据分析的基本框架及遵循的原则。

---

托马斯·贝叶斯 (Thomas Bayes)，1701年出生，爱丁堡大学毕业。他提出了逆概率 (inverse probalility) 的概念。在他身后，又有多少学者为此而奋斗努力，搭建起了整套的贝叶斯统计理论。

虽然，从理论上讲，这套理论不够“客观”；从应用上讲，又需要大量的计算。但是，随着计算时代与人工智能时代的到来，贝叶斯“更新”体系却阴差阳错地为“学习理论 (learning theory)”提供了良好的基础，这是历史的偶然，也是历史的必然。

不过，这些发展，恐怕是贝叶斯教士身前无法料到的。

1. 历史上的贝叶斯问题

1763年，贝叶斯死后2年，他身前的论文被他的朋友理查德·普莱斯 (Richard Price) 整理发表，题为“An Essay towards solving a Problem in the Doctrine of Chances”. 正是这样的一篇论文，开启了贝叶斯理论的大门。

在论文中，贝叶斯假设一个台球桌，长度为

。设一个球在桌子上随机抛出 (球的位置服从均匀分布

)，如图 1 所示，球最后落在左边红色区域记为事件

，则

。而且

越大，此概率越大；

越大，此概率越小。

图 1

现在考虑另一个问题，如图 2 所示，固定

，进行

次试验后，发现有

次落入左边红色区域，试问

(

是常数) 的概率是多少呢？

图 2

这就是一个 逆概率 问题，符合福尔摩斯式的探案思路，知道了“结果”，去寻找“原因”。解决此问题就需要用到贝叶斯公式。

2. 离散情况下的贝叶斯公式

贝叶斯定理（离散）：令事件

是样本空间

的一个分割，且

再令事件

满足

，则对于

，

.

例：一