朴素贝叶斯分类算法[sklearn.naive_bayes/GaussianNB/MultinomialNB/BernoulliNB]

朴素贝叶斯

举栗子1

'''另一个例子，现分别有 A、B 两个容器，在容器 A 里分别有 7 个红球和 3 个白球，
在容器 B 里有 1 个红球和 9 个白球，现已知从这两个容器里任意抽出了一个球，
且是红球，问这个红球是来自容器 A 的概率是多少?



假设已经抽出红球为事件 B，选中容器 A 为事件 A，则有：P(B) = 8/20，P(A) = 1/2，P(B|A) = 7/10，按照公式，
则有：P(A|B) = P(A)*P(B|A)/P(B) = (7/10)*(1/2) / (8/20) = 0.875
'''
# 概率是7/8

# p(B) = 8/20 #选中红球
# p(A) =1/2 #选中A容器的概率

# # A容器中选中红球的概率
# p(B|A) = 7/10

# ???p(A|B)

p = 7/10 * 1/2/(8/20)
p
Out：
0.8749999999999999

举栗子2

'''例如：一座别墅在过去的 20 年里一共发生过 2 次被盗，
别墅的主人有一条狗，狗平均每周晚上叫 3 次，
在盗贼入侵时狗叫的概率被估计为 0.9，问题是：在狗叫的时候发生入侵的概率是多少？'''

# 别墅被盗定义为事件A
p(A) = 2/(20*365)

# 狗叫的概率事件B
p(B) = 3/7

# 在盗贼入侵时狗叫的概率被估计为 0.9
p(B|A) = 0.9

# 在狗叫的时候发生入侵的概率是多少
p(A|B) = p(B|A) * p(A)/p(B)

0.9 * (2/(20*365))/(3/7)
# 0.00058

原理

【关键词】

• 朴素：独立性假设
• 贝叶斯公式

优点：

• 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率；
• 对小规模的数据表现很好；
• 能处理多分类任务，适合增量式训练；
• 对缺失数据不太敏感，算法也比较简单，常用于文本分类

缺点：

• 只能用于分类问题
• 需要计算先验概率；
• 分类决策存在错误率；
• 对输入数据的表达形式很敏感

一、朴素贝叶斯原理

朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下：

这个公式虽然看上去简单，但它却能总结历史，预知未来：

• 公式的右边是总结历史
• 公式的左边是预知未来

如果把Y看成类别，X看成特征，P(Yk|X)就是在已知特征X的情况下求Yk类别的概率，而对P(Yk|X)的计算又全部转化到类别Yk的特征分布上来。

举个例子，大学的时候，某男生经常去图书室晚自习，发现他喜欢的那个女生也常去那个自习室，心中窃喜，于是每天买点好吃点在那个自习室蹲点等她来，可是人家女生不一定每天都来，眼看天气渐渐炎热，图书馆又不开空调，如果那个女生没有去自修室，该男生也就不去，每次男生鼓足勇气说：“嘿，你明天还来不？”,“啊，不知道，看情况”。

然后该男生每天就把她去自习室与否以及一些其他情况做一下记录，用Y表示该女生是否去自习室，即Y={去，不去}，X是跟去自修室有关联的一系列条件，比如当天上了哪门主课，蹲点统计了一段时间后，该男生打算今天不再蹲点，而是先预测一下她会不会去，现在已经知道了今天上了常微分方法这么主课，于是计算P(Y=去|常微分方程)与P(Y=不去|常微分方程)，看哪个概率大，如果P(Y=去|常微分方程) >P(Y=不去|常微分方程)，那这个男生不管多热都屁颠屁颠去自习室了，否则不就去自习室受罪了。P(Y=去|常微分方程)的计算可以转为计算以前她去的情况下，那天主课是常微分的概率P(常微分方程|Y=去)，注意公式右边的分母对每个类别（去/不去）都是一样的，所以计算的时候忽略掉分母，这样虽然得到的概率值已经不再是0~1之间，但是通过比较大小还是能选择类别。

后来他发现还有一些其他条件可以挖，比如当天星期几、当天的天气，以及上一次与她在自修室的气氛，统计了一段时间后，该男子一计算，发现不好算了，因为总结历史的公式：

这里n=3，x(1)表示主课，x(2)表示天气，x(3)表示星期几，x(4)表示气氛，Y仍然是{去，不去}，现在主课有8门，天气有晴、雨、阴三种、气氛有A+,A,B+,B，C五种，那么总共需要估计的参数有8×3×7×5×2=1680个，每天只能收集到一条数据，那么等凑齐1680条数据，大学都毕业了，男生大呼不妙，于是做了一个独立性假设，假设这些影响她去自习室的原因是独立互不相关的，于是：

有了这个独立假设后，需要估计的参数就变为，(8+3+7+5)×2 = 46个了，而且每天收集的一条数据，可以提供4个参数，这样该男生就预测越来越准了。

P(Y=去|常微分方程) = p(常微分方程|Y=去)*p(Y = 去)/(p(常微分方程))

朴素的概念：独立性假设，假设各个特征之间是独立不相关的。

朴素贝叶斯分类器

讲了上面的小故事，我们来朴素贝叶斯分类器的表示形式：

当特征为为x时，计算所有类别的条件概率，选取条件概率最大的类别作为待分类的类别。由于上公式的分母对每个类别都是一样的，因此计算时可以不考虑分母，即

朴素贝叶斯的朴素体现在其对各个条件的独立性假设上，加上独立假设后，大大减少了参数假设空间。

在文本分类上的应用

文本分类的应用很多，比如垃圾邮件和垃圾短信的过滤就是一个2分类问题，新闻分类、文本情感分析等都可以看成是文本分类问题，分类问题由两步组成：训练和预测，要建立一个分类模型，至少需要有一个训练数据集。贝叶斯模型可以很自然地应用到文本分类上：现在有一篇文档d（Document），判断它属于哪个类别ck，只需要计算文档d属于哪一个类别的概率最大：

在分类问题中，我们并不是把所有的特征都用上，对一篇文档d，我们只用其中的部分特征词项t1,t2,...,tnd（nd表示d中的总词条数目），因为很多词项对分类是没有价值的，比如一些停用词“的,是,在”在每个类别中都会出现，这个词项还会模糊分类的决策面，关于特征词的选取，我的这篇文章有介绍。用特征词项表示文档后，计算文档d的类别转化为：

注意P(Ck|d)只是正比于后面那部分公式，完整的计算还有一个分母，但我们前面讨论了，对每个类别而已分母都是一样的，于是在我们只需要计算分子就能够进行分类了。实际的计算过程中，多个概率值P(tj|ck)的连乘很容易下溢出为0，因此转化为对数计算，连乘就变成了累加：

我们只需要从训练数据集中，计算每一个类别的出现概率P(ck)和每一个类别中各个特征词项的概率P(tj|ck)，而这些概率值的计算都采用最大似然估计，说到底就是统计每个词在各个类别中出现的次数和各个类别的文档的数目：

 

二、3种贝叶斯模型

1、高斯分布朴素贝叶斯

高斯分布就是正态分布

【用途】用于一般分类问题

使用自带的鸢尾花数据

导包：

from sklearn.naive_bayes import GaussianNB
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

定义特征数据和目标数据：

iris = load_iris()

X = iris['data']
y = iris['target']
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.3)

运用高斯朴素贝叶斯：

gNB = GaussianNB()

gNB.fit(X_train,y_train)

gNB.score(X_test,y_test)
Out：0.9111111111111111

 

2、多项式分布朴素贝叶斯

多项式分布：

【用途】适用于文本数据（特征表示的是次数，例如某个词语的出现次数）

例：继续使用鸢尾花数据集

导包

from sklearn.naive_bayes import MultinomialNB

mNB = MultinomialNB()

mNB.fit(X_train,y_train)

mNB.score(X_test,y_test)
Out：0.8888888888888888

 

3、伯努利分布朴素贝叶斯

伯努利分布：

【用途】适用于伯努利分布，也适用于文本数据（此时特征表示的是是否出现，例如某个词语的出现为1，不出现为0）

绝大多数情况下表现不如多项式分布，但有的时候伯努利分布表现得要比多项式分布要好，尤其是对于小数量级的文本数据

例：继续使用鸢尾花数据集

导包：

from sklearn.naive_bayes import BernoulliNB

bNB = BernoulliNB()

bNB.fit(X_train,y_train)

bNB.score(X_test,y_test)
Out：0.24444444444444444

# 有时候比自身概率还低则无需使用该算法。
'''鸢尾花分三类，1/3 = 0.3333'''

 

三、文本分类实战¶

对短信进行二分类，数据为SMSSpamCollection，两种邮件分别在ham和spam目录下

导包：

import pandas as pd

导入数据集：

​
sms = pd.read_csv('../data/SMSSpamCollection',sep='\t',header=None)
sms.columns = ['target','message']
# ham普通短信；spam 垃圾短信
sms

导入sklearn.feature_extraction.text.TfidfVectorizer用于转换字符串
读取短信数据

# Vectorizer 向量化
from sklearn.feature_extraction.text import TfidfVectorizer

定义词向量对象：

tf = TfidfVectorizer()

tf.fit(X['message'])
Out：
TfidfVectorizer(analyzer='word', binary=False, decode_error='strict',
        dtype=<class 'numpy.int64'>, encoding='utf-8', input='content',
        lowercase=True, max_df=1.0, max_features=None, min_df=1,
        ngram_range=(1, 1), norm='l2', preprocessor=None, smooth_idf=True,
        stop_words=None, strip_accents=None, sublinear_tf=False,
        token_pattern='(?u)\\b\\w\\w+\\b', tokenizer=None, use_idf=True,
        vocabulary=None)

'''转成词向量：tf.transform
TFidVectorize参数确定：Series
5572条短信抽取了8713个英语单词
'''
X_train = tf.transform(X['message'])
X_train
''' sparse matrix ---->稀松矩阵，即大部分数据都是0 '''
Out：
<5572x8713 sparse matrix of type '<class 'numpy.float64'>'
	with 74169 stored elements in Compressed Sparse Row format>

X_train.toarray().shape
Out：(5572, 8713)

cond = X_train.toarray()[0] !=0
X_train.toarray()[0][cond]
Out:
array([0.32647199, 0.2441904 , 0.3116528 , 0.27580486, 0.27580486,
       0.25283008, 0.14787418, 0.15305131, 0.18034331, 0.10699316,
       0.32647199, 0.27580486, 0.15602977, 0.25535168, 0.1555162 ,
       0.23001811, 0.18241265, 0.22083292])

tf.fit_transform()

• 参数必须是字符串的一维数组（比如列表或者Series）
• 返回的是一个稀疏矩阵类型的对象，行数为样本数，列数为所有出现的单词统计个数。

这里输入data[1]是Series类型，返回的是一个5572x8713 sparse matrix 其中5572是data[1]

伯努利分布

训练数据

bNB = BernoulliNB()

# 机器学习数据可以是稀松矩阵
bNB.fit(X_train,y_train)
Out：
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True)

预测数据，使用tf.transform(['xx'])进行转换生成测试数据

# 普通短信+普通短信
X_test = ['''Even my brother is not like to speak with me Is that seriously how you spell his name?''']

X_test = tf.transform(X_test)

bNB.predict(X_test)
Out：
array(['ham'], dtype='<U4')

# 普通短信+垃圾短信
X_test = ['''Even my brother is not like to speak with me Thanks for your subscription 
 toRingtone UK your mobile will be charged £5/month Please confirm by replying YES or NO.
 If you reply NO you will not be charged''']

X_test = tf.transform(X_test)

bNB.predict(X_test)
Out：
array(['spam'], dtype='<U4')

# 垃圾短信+垃圾短息
X_test = ['''07732584351 - Rodger Burns - MSG = We tried to call you re your reply to 
 our sms for a free nokia mobile + free camcorder Correct or Incorrect? End? Reply END
 SPTV''']

X_test = tf.transform(X_test)

bNB.predict(X_test)
Out：
array(['spam'], dtype='<U4')

多项式分布

# 小数据 使用多项式，效果往往比伯努利效果差
mNB = MultinomialNB()

mNB.fit(X_train,y_train)
Out：MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True)

# 普通短信+普通短信
X_test = ['''Even my brother is not like to speak with me Is that seriously how you spell his name?''']

X_test = tf.transform(X_test)

mNB.predict(X_test)
Out：array(['ham'], dtype='<U4')

# 普通短信+垃圾短信
X_test = ['''Even my brother is not like to speak with me Thanks for your subscription to Ringtone UK your mobile will be charged £5/month Please confirm by replying YES or NO. If you reply NO you will not be charged''']

X_test = tf.transform(X_test)

mNB.predict(X_test)
Out：array(['ham'], dtype='<U4')

# 垃圾短信+垃圾短息
X_test = ['''07732584351 - Rodger Burns - MSG = We tried to call you re your reply to our sms for a free nokia mobile + free camcorder 
Correct or Incorrect? End? Reply END SPTV''']

X_test = tf.transform(X_test)

mNB.predict(X_test)
Out:array(['spam'], dtype='<U4')

高斯分布

gNB = GaussianNB()

# X_train 稀松矩阵
'''TypeError: A sparse matrix was passed, but dense data is required.
Use X.toarray() to convert to a dense numpy array.'''
gNB.fit(X_train.toarray(),y_train)
Out：GaussianNB(priors=None)

# 普通短信+普通短信
X_test = ['''Even my brother is not like to speak with me Is that seriously how you spell his name?''']

X_test = tf.transform(X_test)

gNB.predict(X_test.toarray())
Out：array(['ham'], dtype='<U4')

# 普通短信+垃圾短信
X_test = ['''Even my brother is not like to speak with me Thanks for your subscription to Ringtone UK your mobile will be charged £5/month Please confirm by replying YES or NO. If you reply NO you will not be charged''']

X_test = tf.transform(X_test)

gNB.predict(X_test.toarray())
Out：array(['spam'], dtype='<U4')

# 垃圾短信+垃圾短息
X_test = ['''07732584351 - Rodger Burns - MSG = We tried to call you re your reply to our sms for a free nokia mobile + free camcorder 
Correct or Incorrect? End? Reply END SPTV''']

X_test = tf.transform(X_test)

gNB.predict(X_test.toarray())
Out：array(['spam'], dtype='<U4')