初识nlp （5（朴素贝叶斯

贝叶斯公式 p（x|y） x p(y) =p(y|x) x p(x)

就是给我们算 p（x|y） 提供了更简单的思路 ， 用p（y|x）来代替
在对电子邮件进行分类 a=“恭喜你中奖了···” ，判断a是否是 b“垃圾邮件” p（b|a） 可能不容易
但可以用p（a|b） 在“垃圾邮件”中 出现 a 的概率来代替 ，对垃圾邮件统计即可

朴素表现：

p（“恭喜你中奖了快来领取”|”垃圾邮件“） =p（恭喜|垃圾邮件） x p（你 |垃圾邮件） x p（中奖|垃圾邮件）x p（了|垃圾邮件）x p（快来|垃圾邮件） x p（领取|垃圾邮件）
和 p（“中奖了恭喜你快来领取”|”垃圾邮件“）概率相同
不考虑词的上下文关系，就是 我爱你 和 你爱我 一个意思
朴素贝叶斯效果还行的原因： 不考虑词的上下文关系 的正面效应与负面可互相抵消不少

意外情况

p 中 一个概率出现了 0
比如 p（快来|垃圾邮件）=0
可以将一个小数赋予 p ， p=x/y 改为 p =（x+1）/( y+2)
这就是一种平滑 拉普拉斯平滑 拒绝了0的出现

朴素贝叶斯

贝叶斯 + 不考虑上下文（独立考虑）

朴素贝叶斯 与 直接提取关键字 的差别

直接提取关键字 ：不够灵活 如果 字体顺序，替换词 而且准确性不够高
朴素贝叶斯方法 ：自动地把哪些敏感的词语给凸显出来 减少人工

朴素贝叶斯 技巧

1、取对数
p（“恭喜你中奖了快来领取”|”垃圾邮件“） =p（恭喜|垃圾邮件） x p（你 |垃圾邮件） x p（中奖|垃圾邮件）x p（了|垃圾邮件）x p（快来|垃圾邮件） x p（领取|垃圾邮件）
转换成
log（p（“恭喜你中奖了快来领取”|”垃圾邮件“）） =log（p（恭喜|垃圾邮件） ）+log（ p（你 |垃圾邮件）） + log（ p（中奖|垃圾邮件））+log（ p（了|垃圾邮件））+log（ p（快来|垃圾邮件）） + log（p（领取|垃圾邮件））
提高速度

2、设置权重
a = log（p（“恭喜你中奖了快来领取”|”垃圾邮件“））/ log（p（“恭喜你中奖了快来领取”|”正常邮件“））
a>0 : 垃圾邮件
其中每一项都是其对应词语的权重
可以选取一段文本中权重最高的K个词语，将其权重进行加和
a = log（p（“恭喜“中奖”领取”|”垃圾邮件“））/ log（p（“恭喜“中奖”领取”|”正常邮件“））
规定一个数 b 若 a>b ： 垃圾邮件

并且可对每个 字 设置一定的权重 比如 中奖的权重可以是2

朴素贝叶斯训练

sk-learn里面有3种不同类型的朴素贝叶斯
高斯分布型：服从正态分布的。
多项式型：总词数为n，出现词数为m
伯努利型：这种情况下，就如之前博文里提到的bag of words处理方式一样，最后得到的特征只有0(没出现)和1(出现过)。

from sklearn.naive_bayes import GaussianNB
##X,y training dataset ，x_test test dataset

# Create SVM classification object model = GaussianNB() 
# there is other distribution for multinomial classes like Bernoulli Naive Bayes, Refer link

model.fit(X, y)
predicted= model.predict(x_test)