贝叶斯算法的理解

假设基本的概率论只是你已经掌握，OK!

一、推导贝叶斯定理

假设A和B为两个不相互独立的事件。

交集（intersection）： 

并集（union）： 

1、在事件B已经发生的情况下，事件A发生的概率为事件A和事件B的交集除以事件B：

同理，在事件A已经发生的情况下，事件B发生的概率为事件A和事件B的交集除以事件A：

注：表示 A，B 事件同时发生的概率，如果 A 和 B 是相互独立的两个事件，那么：。

由上面的公式可以得到：

然后，我们就可以得到贝叶斯定理：

那么如何理解呢？？？ 

二、理解贝叶斯定理

后验概率 = 先验概率 X 调整因子

从公式看，我们需要知道这么3个事情：

1）先验概率

我 们把P(A)称为'先验概率'（Prior probability），即在不知道B事件的前提下，我们对A事件概率的一个主观判断。

2）可能性函数

P(B|A)/P(B)称为'可能性函数'（Likelyhood），这是一个调整因子，即新信息B带来的调整，作用是使得先验概率更接近真实概率。

如果'可能性函数'P(B|A)/P(B)>1，意味着'先验概率'被增强，事件A的发生的可能性变大；

如果'可能性函数'=1，意味着B事件无助于判断事件A的可能性；

如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小

通俗理解：根据B的信息，我调查B的相关信息，并且通过B的相关信息了解A的信息。从而估计出'可能性函数'P(B|A)/P(B)=a

3）后验概率

P(A|B)称为'后验概率'（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。

三、朴素贝叶斯算法优缺点

1、朴素贝叶斯算法优点

1. 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
2. 对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。
3. 对缺失数据不太敏感，算法也比较简单，常用于文本分类。

2、朴素贝叶斯缺点

1. 需要知道先验概率。
2. 由于使用了样本属性独立性的假设，所以 在属性个数比较多或者属性之间相关性较大时，分类效果不好。

3、朴素贝叶斯应用领域

1. 文本分类、欺诈检测中使用较多

 

---

参考：
https://www.jianshu.com/p/4d5e3655269e

https://www.cnblogs.com/HuZihu/p/9368355.html