朴素贝叶斯（1）

模型的基础概念

基础知识

抽象一点说，朴素贝叶斯分类器会单独考量每一维度特征被分类的条件概率，进而综合这些概率并对其所在的特征向量做出分类预测。

朴素贝叶斯只适用于特征之间是条件独立的情况下，否则分类效果不好，这里的朴素指的就是条件独立。

朴素贝叶斯主要被广泛地使用在文档分类中，如互联网新闻的分类、垃圾邮件的筛选等。

优势

1、朴素贝叶斯模型有稳定的分类效率。

2、对小规模的数据表现很好，能处理多分类任务，适合增量式训练，尤其是数据量超出内存时，可以一批批的去增量训练。

3、对缺失数据不太敏感，算法也比较简单，常用于文本分类。

可以极大的节约内存消耗和计算时间，但是会无法考量各个特征之间的联系

实例演示

 从sklearn.dataswet中导入新闻抓取器 fetch_20newsgroups

from sklearn.datasets import fetch_20newsgroups

查验数据规模和细节

news=fetch_20newsgroups(subset='all') # 即时从互联网下载数据
print(len(news.data))
print(news.data[0])

 对数据进行分割并且随机采样出一部分用于测试。 

X_train,X_test,y_train,y_test=train_test_split(news.data,news.target,
                test_size=0.25,random_state=33)

 首先将文本转化为特征向量，然后利用朴素贝叶斯模型从训练数据中估计参数，最后利用这些概率参数对同样转化为特征向量的测试样本进行类别预测。

from sklearn.feature_extraction.text import CountVectorizer
vec=CountVectorizer()
X_train=vec.fit_transform(X_train)
X_test=vec.transform(X_test)

from sklearn.naive_bayes import MultinomialNB
# 使用默认配置初始化朴素贝叶斯模型
mnb=MultinomialNB()
# 利用训练数据对模型参数进行估计
mnb.fit(X_train,y_train)
# 进行预测
y_pred=mnb.predict(X_test)

对朴素贝叶斯分类器在新闻文本数据上的表现性能进行评估

from sklearn.metrics import classification_report
print("The Accuracy of Naive Bayes Classifier is",mnb.score(X_test,y_test))
print(classification_report(y_test,y_pred,target_names=news.target_names))

特点分析： 朴素贝叶斯模型被广泛应用于海量互联网文本分类任务。由于其较强的特征条件独立假设，使得模型预测所需估计的参数规模从幂指数量级向线性量级减少，极大的节约了内存消耗和计算时间。但是也由于这种强假设性的限制，模型训练时无法将各个特征之间的联系考量在内，使得该模型在其他数据特征关联性较强的分类任务上的性能表现不佳。

完整代码如下：

import numpy as np 
import pandas as pd 
# 文本分类 
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
# 将文本特征向量转化
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

news=fetch_20newsgroups(subset='all')
X_train,X_test,y_train,y_test=train_test_split(news.data,news.target,
                test_size=0.25,random_state=33)
vec=CountVectorizer()
X_train=vec.fit_transform(X_train)
X_test=vec.transform(X_test)

mnb=MultinomialNB()
mnb.fit(X_train,y_train)
y_pred=mnb.predict(X_test)
print("The Accuracy of Naive Bayes Classifier is",mnb.score(X_test,y_test))
print(classification_report(y_test,y_pred,target_names=news.target_names))