贝叶斯定理——数学之美

1.贝叶斯定理

1.1 定义：描述在已知一些条件下，某事件的发生概率

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。

1.2 公式理解

$$P(x|y)=\frac{P(x)P(y|x)}{P(y)}$$
其中x以及y为随机事件，且$P(y)$不为零。$P(x|y)$是指在y事件发生的情况下,x事件发生的概率。
其中:
$P(x|y)$是已知y发生后，x的条件概率。也称作x的后验概率。
$P(x)$是x的先验概率（或边缘概率）。其不考虑任何y方面的因素。即x与y相互独立
$P(y|x)$是已知x发生后，y的条件概率。也可称为y的后验概率。
$P(y)$是y的先验概率。

贝叶斯定理可表述为：

后验概率 = (似然性*先验概率)/标准化常量
也就是说，后验概率与先验概率和相似度的乘积成正比。

2.贝叶斯理论推导(从条件概率)

2.1 推到

根据条件概率的定义。在事件y发生的条件下事件x发生的概率是：

$P(x|y)=\frac{P(x\cap y)}{P(y)}$

其中 A与B的联合概率表示为$P(x\cap y)$或者$p(x,y)$或者$p(xy)$。

同样地，在事件x发生的条件下事件y发生的概率

$P(y|x)=\frac{P(y\cap x)}{P(x)}$

联立可得

$P(x|y)P(y)=P(x\cap y)=P(y|x)P(x)$ 若$P(y)\ne 0$则

$$P(x|y)=\frac{P(x)P(y|x)}{P(y)}$$得证

2.2 贝叶斯理论的推广

$P(x|y,z)=\frac{P(x,y,z)}{P(y,z)}$

$=\frac{P(x,y,z)}{P(y)P(z|y)}$

$=\frac{P(z|x,y)P(x,y)}{P(y)P(z|y)}$

$=\frac{P(x)P(y|x)P(z|x,y)}{P(y)P(z|y)}$

一般化的方法则是利用联合概率去分解待求的条件概率，并对不加以探讨的变量积分（意即对欲探讨的变量计算边缘概率）。取决于不同的分解形式，可以证明某些积分必为1，因此分解形式可被简化。利用这个性质，贝叶斯理论的计算量可能可以大幅下降。贝叶斯网络为此方法的一个例子，贝叶斯网络指定数个变量的联合概率分布的分解型式，该概率分布满足下述条件：当其他变量的条件概率给定时，该变量的条件概率为一简单型式。

3 贝叶斯公式理解实例

3.1 通过开车过程中对十字路口来理解贝叶斯公式

$$P(A|B)=\frac{P(A)P(B|A)}{P(B)}$$

因此贝叶斯公式实际上阐述了这么一个事情：

新信息出现后对A事件的概率预测 = A事件的鲜艳概率 * 新信息带来的调整

我们再通过韦恩图来理解一下这个事情（为了观看方便，下面的A,B的圆形面积是示意）：


新的信息的出现，比如之前看到了亮着右转弯灯的车，就好比知道点已经落入了B。

3.2 实例理解贝叶斯公式小结

可以看到，有形的十字路口，却看不到明天是否下雨，我们可以看到前方是否有路障，却不清楚下一次飞机是否会出事。甚至有时候，眼睛还会欺骗我们。
很多时候，我们不得不看着后视镜开车，这个时候概率论、贝叶斯定理就是我们的指路明灯。
看着后视镜开车，肯定常常会撞车，没关系，我们可以不断的去修正我们的假设。
比如，撞了几次车之后，就发现可能之前估计的在十字路口打右转弯灯的数据明显偏大了，我们修正之后再继续开车。我们人类的学习，本身也是一个试错的过程。

参考资料

数学之美番外篇：平凡而又神奇的贝叶斯方法
概率机器人
如何理解贝叶斯定理？
数学之美番外篇：平凡而又神奇的贝叶斯方法