简单理解贝叶斯公式
引例
一个村子,三个小偷:A1小张,A2小英,A3小郑。事件B为村子发生失窃。已知小张去偷东西成功的概率为0,小英去偷东西成功的概率是1/2,小郑去偷东西成功的概率是1。每次只能有一个人去偷窃,求P(B)
分析
由题目我们知道,三个人去偷东西的概率是都是,所以我们有:
求解
注意到:是互斥的,又由乘法公式:,所以我们有:
所以
总结
求解过程,我们运用到了全概率公式:
其中,B是试验E的一个事件,是一个完备事件组。全概率公式相当重要,是我们推导贝叶斯公式的基础。
贝叶斯公式
问题
某一天,村子一个人大喊:失窃啦!!!然后警察来了。一共有3个嫌疑人:A1小张,A2小英,A3小郑。警局已经对他们的偷窃能力有备案:小张去偷东西成功的概率为0,小英去偷东西成功的概率是1/2,小郑去偷东西成功的概率是1。试问:这三人中,与这次失窃案件有关的概率是多少。
分析
这个问题和引例有一点不同,引例是已知3人的偷窃能力,求村子失窃的概率。而这个问题是已知3人的偷窃能力,和村子失窃的概率,求每个人去偷窃的概率。这就是所谓的逆事件概率
,贝叶斯公式
需要解决的问题。
求解
在偷窃发送之前,我们认为:三个人去偷窃的概率都是一样的(这是我们的主观感受)。故,我们有:
我们需要求的是:,应用全概率公式,条件概率公式与乘法公式,有:
所以,最大嫌疑人是小政。
总结
这个例子,就运用到所谓的贝叶斯公式啦:
就是所谓的先验概率,而就是后验概率。
-
为什么这样子去叫呢
在失窃发送之前,我们认为3个人去偷窃的概率都是1/3。但是失窃发送后,由于每个人的偷窃能力不同,我们预判谁去偷窃的概率就会发生变化。这个例子中,先验概率。先验概率往往都是我们的主观映像:在失窃发送之前,我们认为所有人去偷窃的概率都是一样的。而后验概率是什么呢?因为每个人偷窃的成功率不同,所以偷窃发生后,到底谁去偷窃的概率也就发生了变化。所以后验概率就是一个调整因子,当一件事件发生后,对原事件发生的概率产生了影响。
-
贝叶斯公式解决了什么问题
贝叶斯解决的是逆向概率的问题。什么叫逆向概率呢?比如在
村子失窃
的例子中,正向概率
就是:已知每个人的偷窃能力,求村子失窃的概率。而
逆向概率
就是:已知村子失窃的概率和每个人的偷窃能力,偷窃事件发生了,然后求每个人与这起偷窃案件相关的概率。 -
贝叶斯公式有哪些应用呢
贝叶斯公式真正被应用起来,是在其发表一百多年后了。为什么一开始贝叶斯公式不背重视呢?因为加入了先验概率,而先验概率是我们的主观映像,传统的概率学认为,概率统计是不能被主观引导的,这就导致了贝叶斯公式不被重视。
后来,人们逐渐发现了贝叶斯公式大有用处,并且将其广泛应用与天气预报,垃圾邮件处理等一系列的问题之中。贝叶斯公式也是机器学习中及其重要的模型。
更加简单地理解贝叶斯公式
这里有A,B两个箱子有大小形状和数量都一样的球,A箱子1/3是白球,2/3是黑球。B箱子全部是黑球
我们蒙着眼睛,伸手从箱子取球:由于球的大小形状和数量都一样,所以我们认为取的球来自A箱和B箱的概率都是1/2。
但是我摸出来以后,我瞄了一眼,发现:这是白球。然后我就断定:这个球一定来自A箱子。
摸出来的球来自A箱的概率由1/2变成了1。这是为什么呢?就是因为有后验概率是不一样的,摸出来球的颜色会对一开始的概率产生影响。
我们用贝叶斯公式来计算一下:
我们定义:
已知
由贝叶斯公式:
可见:摸出来的球来自A箱的概率从1/2变成了1,这是因为后验概率对原概率发生了影响。