目录
贝叶斯方法是以贝叶斯原理为基础,使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础,贝叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率,即避免了只使用先验概率的主观偏见,也避免了单独使用样本信息的过拟合现象。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率,同时算法本身也比较简单。
朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化,即假定给定目标值时属性之间相互条件独立。也就是说没有哪个属性变量对于决策结果来说占有着较大的比重,也没有哪个属性变量对于决策结果占有着较小的比重。虽然这个简化方式在一定程度上降低了贝叶斯分类算法的分类效果,但是在实际的应用场景中,极大地简化了贝叶斯方法的复杂性。
一.贝叶斯算法:
需要了解贝叶斯算法,首先我们需要了解一下先验概率和后验概率;
1.先验概率:
2.后验概率:
3.贝叶斯定理:
![](https://i-blog.csdnimg.cn/blog_migrate/47918110472a27393050456330b39d2d.png)
4.概率模型:
那么我们如何应用贝叶斯定理到机器上,首先要在机器要建立一个概率模型;
在机器学习中,通常分为
判别式模型:
判别模型之所以称为“判别”模型,是因为其根据X“判别”Y,由数据直接学习决策函数Y=f(X)或者条件概率分布作为预测的模型。
生成式模型:
生成模型之所以称为“生成”模型,是因为利用训练数据学习P(X|Y)和P(Y)的估计,得到联合概率分布,然后求得后验概率分布,再利用它进行分类。
在机器学习中任务是从属性X预测标记Y,判别模型求的是P(Y|X),即后验概率;而生成模型最后求的是P(X,Y),即联合概率。本文中的朴素贝叶斯属于生成式模型。
二.朴素贝叶斯分类器:
1.朴素贝叶斯分类:
朴素贝叶斯分类器采用了属性条件独立性假设,即所有属性都是条件独立的,联合概率就等于每个单独属性概率的乘积。
记P(C=c|X=x)为P(c|x),基于属性条件独立性假设,贝叶斯公式可重写为: