朴素贝叶斯算法（原理）

朴素贝叶斯算法

1. 概率基础

• 概率定义为一件事情发生的可能性
  联合概率和条件gail
• 联合概率：包含多个条件，且所有条件同时成立的概率

• 记作;P(A,B) P(A,B)=P(A)* P(B)

• 条件概率：就是事件A在另一个事件B已经发生条件下发生的概率

• 记作：P(A|B)
• 特性：P（A1，A2|B）=P(A1|B)+(A2|B)
• 注意：此条件概率的成立，是由于A1，A2相互独立的结果

朴素贝叶斯公式

注：w为给定文档的特征值（频数统计，预测文档提供），c为文档类别
公式可理解为：

拉普拉斯平滑

问题：如果某个分类概率为0，这是不合理的，如果词频列表里有很多出现次数为零，很可能计算结果为0

解决方法：拉普拉斯平滑系数
P(F1|D)=Ni+a/N+am

a为指定的系数一般为1，m为训练文档中统计
出的特征词个数

朴素贝叶斯实现API

• sklearn.native_bayes_MultinomiaINB
• sklearn.native_bayes_MultinomiaINB(alpha=1.0)

• 朴素贝叶斯分类
• alpha：拉普拉斯平滑系数 防止分类时类别概率为0