a*算法的优缺点_轻松理解机器学习算法-朴素贝叶斯

1、预备知识

贝叶斯定理(Bayes’ theorem)是概率论中的一个定理，它跟随机变量的条件概率以及边缘概率分布有关。通常事件A在事件B发生的条件下的概率，与事件B在事件A发生的条件下的概率是不一样的；然而这两种是有确定关系的，这种关系就是贝叶斯定理：

P(A|B) = ( P(A) * P(B|A) ) / P(B)

从公式来看，我们需要首先了解3个基本概念：

1)先验概率

通常把P(A)称为“先验概率”(Prior probability)，即在不知道B事件发生的前提下，对A事件发生概率的一个主观判断。

2)似然函数

P(B|A)/P(B)称为“似然函数”(Likelyhood)，即对新事件B的发生调整，作用是，使得先验概率更接近真实概率。

• 如果“似然函数”P(B|A)/P(B)>1，意味着“先验概率”被增强，事件A的发生的可能性变大；
• 如果“似然函数”P(B|A)/P(B)=1，意味着事件B无助于判断事件A的可能性；
• 如果“似然函数”P(B|A)/P(B)<1，意味着“先验概率”被削弱，事件A的可能性变小。

3)后验概率

P(A|B)称为“后验概率”(Posterior probability)，即在事件B发生之后，对事件A概率的重新评估。

因此，贝叶斯定理为：后验概率=先验概率*似然函数。

2、朴素贝叶斯算法

朴素贝