【机器学习】贝叶斯算法原理

问题一：有两个不透明的袋子各有十个球，A袋子中有红球4颗，黑球6颗，B袋子中有红球2颗，黑球8个。那么分别从两个袋子中各自取出一个球，分别得到红球的概率？

这是一个很简单的概率问题，我们很容易的算出来，A袋子中红球的概率是：0.4，B袋子中的红球的概率为：0.2

为题二：有两个不透明的袋子各有十个球，A袋子中有红球4颗，黑球6颗，B袋子中有红球2颗，黑球8个。现在我取出了一个球，是红球，问这个球从A袋子中拿出的概率？

这个问题就变得复杂一些了，我们可以通过贝叶斯分类来回答这个问题。

条件概率

事件a在时间b已经发生条件下发生的概率，条件概率表示为P(A|B)，读作“在B条件下A的概率”。

联合概率

表示两个事件共同发生的概率。a与b的联合概率表示为P(A∩B)或者P(A,B)。

先验概率

某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中那些不需要的事件通过合并成它们的全概率，而消去它们（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率），这称为边缘化（marginalization），比如A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。

接着，考虑一个问题：P(A|B)是在B发生的情况下A发生的可能性。

• 首先，事件B发生之前，我们对事件A的发生有一个基本的概率判断，称为A的先验概率，用P(A)表示；

• 其次，事件B发生之后，我们对事件A的发生概率重新评估，称为A的后验概率，用P(A|B)表示；

• 类似的，事件A发生之前，我们对事件B的发生有一个基本的概率判断，称为B的先验概率，用P(B)表示；

• 同样，事件A发生之后，我们对事件B的发生概率重新评估，称为B的后验概率，用P(B|A)表示。

公式推导

P(A|B) = P(AUB)/P(B)    =>    P(AUB) = P(A|B)P(B)    (1)

P(B|A) = P(AUB)/P(A)    =>    P(AUB) = P(B|A)P(A)     (2)

求解(1),(2)的：P(A|B)P(B) = P(B|A)P(A)，两边同时除以P(B)得：P(A|B) = P(B|A)P(A)/P(B)

P(A|B) = P(B|A)P(A)/P(B)就是我们要的贝叶斯公式。

再来看看上面的例子：从袋子A和袋子B中取球的概率是一样的，及P(A)= P(B)=0.5 ， 得到红球的概率用P(R)，从A中得到红球的概率表示为P(R|A) = 0.4，从B袋子中的到红球的概率为P(R|B) = 0.2，我们要求P(A|R)的值

站在巨人的肩膀上：这些文章写得很详细

https://blog.csdn.net/zdy0_2004/article/details/41096141

https://www.cnblogs.com/zhoulujun/p/8893393.html

http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html