朴素贝叶斯法

朴素贝叶斯法

---

朴素贝叶斯法定义：

贝叶斯定理与特征条件独立假设的分类方法。

---

朴素贝叶斯法学习方法：

1，对于给定的训练数据集，基于特征条件独立假设学习输入\输出的联合概率分布（建立模型）；
2，基于此模型对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

---

1.贝叶斯定理：

2.条件独立假设：
(等价于用于特征在类确定的条件下都是条件独立的)
条件独立假设公式：

(输入空间为x,输出空间为类标记集合Y=(c1,c2,…,ck))

3.后验概率：

---

朴素贝叶斯法分类器：

分类器就是求出后验概率的最大值作为x的类输出:

由于公式中的分母对所有的ck值都是一样的，再代入条件独立假设公式，可把上式化 简为：

(后验概率最大化等价于期望风险最小化)

---

1.极大似然估计：
先验概率的极大似然估计：

条件概率的极大似然估计：

2.贝叶斯估计：
先验概率的贝叶斯估计：

条件概率的贝叶斯估计：

当"λ=0"时，就是极大似然估计；当"λ=1"时，称为拉普拉斯平滑

---

（上述公式中没有说明的字符都在下面的算法中给予说明，文中有时提到的j其实就是1,2,3,···,n）

朴素贝叶斯算法：

输入：

输出：
实例x的分类。

步骤：

（1）计算先验概率及条件概率（最大似然估计\贝叶斯估计(公式e.f.g.h.)）
（2）对于给定的实例x，计算贝叶斯法分类器(公式d.)
（3）确定实例x的类

---

（"You got things to do. Places to go. People to see. Futures to make." -- 《Life in a Day 》）