机器学习笔记——朴素贝叶斯

朴素贝叶斯算法思想

举个例子，一个买瓜老手去买瓜怎么挑到甜的西瓜？首先他会观察这个西瓜的纹理是不是清晰的，如果纹理模糊不清或是很不规则那么大概率口感不好，其次会去拍一拍这个西瓜听声音是清脆的还是闷响的前者皮薄汁多，后者就可能是熟透了。这样一来就能保证他买来的大部分西瓜都是甜的，而在这之前他一定是买过很多瓜，然后尝过味道之后得到的经验告诉他大部分声音清脆，纹理清晰的瓜都是好瓜。在这里他用经验来判断挑到的瓜的好坏，而在朴素贝叶斯算法里我们称为先验概率。

贝叶斯公式

首先我们在朴素贝叶斯模型里会默认每个特征都是独立的，也就是说 P(X ∩ Y) = P(X) * P(Y)。而在事件X发生的前提下，事件Y发生的概率就是P(Y | X) = P(X ∩ Y) / P(X)。所以说P(Y | X)P(X) = P(X | Y)P(Y) 这样我们就能推出条件概率公式 

基本概念

1）先验概率 通过以往的经验得出的事件Y发生的概率 P（Y）

2）后验概率 也就是说在事件X发生之后对事件Y发生的概率的重新评估 P（Y | X）

3）全概率公式 如果事件Y1，Y2,Y3...Yn 互不相交，同时和为全集。那么有