分类算法-朴素贝叶斯算法

一、概率基础
（一）概率定义
概率定义为一件事情发生的可能性
（二）联合概率和条件概率

二、朴素贝叶斯公式


公式分为三个部分：



三、sklearn朴素贝叶斯实现API
sklearn.naive_bayes.MultinomialNB
四、MultinomialNB语法
sklearn.naive_bayes.MultinomialNB(alpha=1.0)
alpha：拉普拉斯平滑系数
五、案例20类新闻分类
（一）流程
1、加载20类新闻数据，并进行分割
2、生成文章特征词
3、朴素贝叶斯estimator流程进行预估
（二）案例
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

def naviebayes():
“”"
朴素贝叶斯进行文本分类
:return:None
“”"
categories = [‘alt.atheism’, ‘talk.religion.misc’, ‘comp.graphics’, ‘sci.space’]
news = fetch_20newsgroups(subset=‘train’,categories=categories)
#进行数据分割
x_train,x_test,y_train,y_test= train_test_split(news.data,news.target,test_size=0.25)
#对数据集进行特征抽取
tf =TfidfVectorizer()
#以训练集当中的词的列表进行每篇文章重要性统计
x_train=tf.fit_transform(x_train)
print(tf.get_feature_names())
x_test =tf.transform(x_test)
# 进行朴素贝叶斯算法的预测
mlt = MultinomialNB(alpha =1.0)
print(x_train.toarray())
mlt.fit(x_train,y_train)
y_predict = mlt.predict(x_test)
print(‘预测的文章类别为：’,y_predict)
# 得出准确率
print(‘准确率为：’,mlt.score(x_test,y_test))
print(‘每个类别的精确率和召回率：’,classification_report(y_test,y_predict,target_names=news.target_names))
return None

if name ==‘main’:
naviebayes()
六、朴素贝叶斯分类优缺点
（一）优点
1、朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
2、对缺失数据不太敏感，算法也比较简单，常用于文本分类。
3、分类准确度高，速度快。
（二）缺点
需要知道先验概率P(F1,F2,…|C)，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。