机器学习——朴素贝叶斯

贝叶斯的原理是：通过先验概率推导出后验概率。 

贝叶斯的推导：

P(AB)=P(B|A)*P(A)

贝叶斯公式：（各个特征之间是相互独立的，但是样本之间不是独立的）

通过一个例子感受一下贝叶斯公式

某 AI 公司招聘工程师，来了8名应聘者，这8个人里，有5个人是985院校毕业的，另外3人不是。
面试官拿出一道算法题准备考察他们。根据以前的面试经验，面试官知道：985毕业生做对这道题的概率是80%，非985毕业生做对率只有30%。
现在，面试管从8个人里随手指了一个人——小甲，让 TA 出来做题。结果小甲做对了，那么请问，小甲是985院校毕业的概率是多大？
 

985事件A；答对事件B

985院校毕业的概率：P(A1)=5/8
非985院校毕业概率：P(A2)=3/8
985毕业且答对概率：P(B|A)=0.8
求P(A|B)

 

上述的贝叶斯的例子先验、后验都是离散的。事实上贝叶斯定理一样可以应用于连续概率的情况，只不过 sum 部分变为了对应函数的积分而已。

朴素贝叶斯分类器

那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：

第2步，因为各个特征属性是独立的，所以有P(a1|y1)*P(a2|y1)*P(a3|y1)*P(a4|y1)...=P(x|y1)，接下来根据贝叶斯公式进行推导。

上面的条件概率是怎么得到的呢？通过在训练样本中间做统计，就可以直接获得了！

贝叶斯分类器的流程：

　　朴素贝叶斯的优点：

　　对小规模的数据表现很好，适合多分类任务，适合增量式训练。

　　缺点：

　　对输入数据的表达形式很敏感。