理解全概率公式与贝叶斯公式-CSDN博客

http://blog.csdn.net/luc9910/article/details/54377626

1. 全概率公式

在讲全概率公式之前，首先要理解什么是“完备事件群”。
我们将满足

B i B j = \emptyset

这样的一组事件称为一个“完备事件群”。简而言之，就是事件之间两两互斥，所有事件的并集是整个样本空间（必然事件）。

假设我们要研究事件A。我们希望能够求出

我们不要忘记，

A = A Ω = A B 1 + A B 2 + A B 3 + \dots

显然，

P (A) = P (A Ω) = P (A B 1 + A B 2 + A B 3 + \dots) = P (A

再根据条件概率的定义，我们得到了教科书上的全概率公式：

P (A) = P (B 1) P (A | B 1) + P (B 2) P (A | B 2) + P (B 3) P (

这样费了一番周折，我们总算得到了所求的

全概率公式可以从另一个角度去理解，把

P (A) = 0.8, P (B) = 0.1, P (C) = 0.5

将“村里有东西被偷”记为

P (S | A) = 0.1, P (S | B) = 1.0, P (S | C) = 0.5

很简单，所求得的就是

P (S) = P (A) P (S | A) + P (B) P (S | B) + P (C) P (S | C) = 0.43

祝这个村晚上好运吧。

2. 贝叶斯公式

有了前面的基础，我们现在先直接抛出贝叶斯公式：

P (B i | A) = P ( A B i ) P ( A ) = P ( B i ) P ( A | B i )

这个公式本身平平无奇，无非就是条件概率的定义加上全概率公式一起作出的一个推导而已。但它所表达的意义却非常深刻。
在全概率公式中，如果将

举个例子：
假设某种病菌在人口中的带菌率为0.03，由于技术落后等等原因，使得带菌者有时也未被检出阳性反应（假阴性），不带菌者也可能会被检出阳性反应（假阳性）。有如下数据：

P (阳 性 | 带 菌) = 0.99, P (阴 性 | 带 菌) = 0.01,

假如一个人被检出阳性，那么这个人带菌的概率是多少？

如果不用概率的思维，光凭感觉去想这个问题……误检率那么低，那这个带菌的可能性大概会很高吧？
我们用贝叶斯公式去实际计算一下。

P (带 菌 | 阳 性) = P ( 带 菌 ) P ( 阳

结果竟然连40%都没到。
问题出在哪里？我们没有注意到，带菌率低到只有0.03，甚至比误检率还要低。也就是说，在一大批人里可以检查出一堆阳性的，而这堆阳性的人里面真正带菌的，也只是一小部分而已。

贝叶斯公式与机器学习

在机器学习中，我们经常遇到的一个问题就是分类。
我们看看维基百科上的“性别分类”问题（维基百科-朴素贝叶斯分类器）。
我们想要实现的是，通过知道一个人的身高、体重以及脚的尺寸，去判断这个人是男是女。
为了能够判断，我们当然需要一些参考数据，或者说，训练数据：

性别	身高（英尺）	体重（磅）	脚的尺寸（英寸）
男	6	180	12
男	5.92	190	11
男	5.58	170	12
男	5.92	165	10
女	5	100	6
女	5.5	150	8
女	5.42	130	7
女	5.75	150	9

问题来了：
现有一身高6英尺，体重130磅，脚尺寸为8英寸的人，这个人是男是女呢？

这个表格看起来不够直观，我们先做一点微小的数据可视化工作：

#!/usr/bin/python3

from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt fig = plt.figure() ax = fig.add_subplot(111, projection='3d') # 身高、体重、脚尺寸数据 x = [6, 5.92, 5.58, 5.92, 5, 5.5, 5.42, 5.75] y = [180, 190, 170, 165, 100, 150, 130, 150] z = [12, 11, 12, 10, 6, 8, 7, 9] # 男性用红色园圈表示 ax.scatter(x[:4], y[:4], z[:4], c='r', marker='o', s=100) # 女性用蓝色三角表示 ax.scatter(x[4:], y[4:], z[4:], c='b', marker='^', s=100) ax.set_xlabel('Height (feet)') ax.set_ylabel('Weight (lbs)') ax.set_zlabel('Foot size (inches)') # 显示散点图 plt.show()

旋转的散点图
尽管只有8组数据，但我们在图中也大概看了出来，似乎男女的数据点都有种“聚成一团”的感觉，这似乎是一种启示。

但是这个和贝叶斯能有什么关系呢？
我们先对前面的贝叶斯公式做一些“扩展”：
我们记

c^= arg max c

根据贝叶斯公式，得

p (C | F 1, F 2, F 3) = p ( F 1 , F 2 , F 3 | C ) P ( C ) p (

我们的任务只是比较大小，而上式右边的分母是一个常数，不妨将其忽略掉以简化计算。这时候我们的问题就剩下如何求

p (F 1, F 2, F 3 | C) = p (F 1 | C) p (F 2 | C) p (F 3 |

于是我们的问题就化简为了

c^= arg max c

这样就够了么？当然没有。我们还有一个严重的问题没有解决——连续随机变量。我们不能想离散随机变量那样计算

性别	均值(身高)	方差(身高)	均值(体重)	方差(体重)	均值(脚的尺寸)	方差(脚的尺寸)
男性	5.855	3.5033e-02	176.25	1.2292e+02	11.25	9.1667e-01
女性	5.4175	9.7225e-02	132.5	5.5833e+02	7.5	1.6667e+00

得到了均值与方差，也就得到了正态分布的

p (F 1 = 6 | 男) = 1 2 π σ 2----\sqrt exp ( - ( 6 - μ ) 2 2 σ 2 ) \approx 1.5789

值得注意的是，这里求的是连续随机变量的概率密度，所以求出比1大的值也是正常的5。
剩下的

综上，我们计算可得：

p (F 1 = 6 | 男) p (F 2 = 130 | 男) p (F 3 = 8 | 男) P (

从计算结果可以看出，这个人是女性的可能性远大于是男性的可能性。

如果要通过编程实现这一过程，还要考虑平滑处理，这里不再赘述。

1. 如果没有想明白这一步，可以利用Venn图来帮助理解。 ↩
2. 若干个两两互斥的事件之和的概率，等于各事件的概率之和，即
  $P (A 1 + A 2 + \dots) = P (A 1) + P (A 2) + \dots$
3. 随机事件的意思就是，在试验之前你并不知道该事件是否会在试验中发生，发生与否取决于机遇。 ↩
4. 假设不同特征彼此独立，即，当有
  $P (y | x 1, \dots, x n) = P ( y ) P ( x 1 , \dots , x n | y ) P ( x 1 ,$ $P (x i | y, x 1, \dots, x i - 1, x i + 1, \dots, x n) = P (x i |$
5. 概率密度可以理解为“瞬时”的概率。对于概率密度函数，必须要满足两条性质：
  $(1)$