机器学习之朴素贝叶斯：Naive Bayesian（一、算法原理）

目录

一、概率论基础

二、朴素贝叶斯

三、极大似然估计与贝叶斯估计

四、朴素贝叶斯估计实例 

五、朴素贝叶斯的常用模型

六、朴素贝叶斯的优缺点

---

一、概率论基础

条件概率公式：在B发生的条件下A发生的概率记作P(A|B) 

全概率公式为：

全概率公示的含义是：

（1）如果B1事件发生，会有一定的概率导致A发生，那么在B1发生的条件下，则A发生的概率是P(A|B1)，这是条件概率公式。

（2）从最初开始考虑，A发生的概率就是 P(B1)P(A|B1)。

（3）导致A发生的情况不止有B,在B2、B3等条件下，均会导致A发生，那么综合来看，每种情况都会导致A有一定的概率发生，对A发生有贡献，所以A发生的概率是以上所有概率的和。

因为是B发生导致A发生，所以B是原因，A是结果，是典型的“由因导果”。

贝叶斯公式： 

贝叶斯公式在某种意义上是全概率公式的相反形式，全概率公式是 “由因导果”，那么贝叶斯公式就是“执因索果”。B发生导致A发生，所以B是原因A是结果。

P(Bi)表示各种原因发生的可能性大小，故称先验概率；P(Bi|A)则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。在应用贝叶斯估计时，先验概率通常由统计获得。

二、朴素贝叶斯

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的数据集，首先基于特征条件独立假设学习输入和输出的联合概率分布，然后基于此模型，对于给定的输入x，求出其后验概率最大时的输出y。用于分类时，以此确定类别。朴素贝叶斯最大化后验概率的的作法，相当于期望风险最小化。

 条件独立性假设是指，假设各个特征之间没有联系，相互独立，用公式来表达就是：