目录
1. 基本概念(统计学习方法):
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入和输出的联合概率分布。然后对于给定的输入实例x,利用贝叶斯定理求出后验概率最大的输出y,属于生成模型。
分类时,对于给定的输入x,通过学习到的模型计算后验概率分布,将后验概率最大的类作为x的类别输出。后验概率计算根据贝叶斯定理进行:
在此基础上,假设用于分类的特征在类确定的条件下都是条件独立的,虽然会损失一定的准确率,但是会使朴素贝叶斯法变得简单,条件独立性假设为:
于是,可得朴素贝叶斯法的基本公式为:
在分类时,基本公式的分母对于所以的类集合都是相同的,所以在比较概率时只需要比较分子。
朴素的原因(个人观点)
1.思想十分简单,对于给定的待分类实例,求解各个类别出现的概率,通过举手表决法,概率最大的类别即为该实例的类别
2.在计算贝叶斯定理时,假设所有特征在数据集中的作用是同样重要并且相互独立的。
2.对于重复的词
在使用朴素贝叶斯法的时候,可能会遇重复的词语,有三种模型可以进行处理,分别是多项式模型、伯努利模型以及混合模型。
假设对红苹果、青苹果、绿苹果进行分词,分词以后是:红、苹果、青、苹果、绿、苹果
多项式模型,对于出现的重复词语记多次
伯努利模型,对于出现