机器学习基础知识（四）：朴素贝叶斯

1.原理：从由因推果到由果推因，贝叶斯公式
2.改进：由于属于某一个类别的可能性为0不妥，因此需要在分子加上拉普拉斯平滑系数α(一般为1)，分母加上α*m(m为训练文档中统计出的所有特征词)
3.API：sklearn.naive_bayes.MultinominalNB(alpha=1.0)

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TFidfVectorizer
from sklearn.naive_bayes import MultinomialNB
 
def naivebayes():
	'''
	朴素贝叶斯
	:return:None
	'''
	# 1.导入数据集
	news = fetch_20newsgroups(subset='all')
	
	# 2.对数据进行分割
    x_train,x_test,y_train,y_test=train_test_split(news.data,news.target,test_size=0.25)
    
	# 3.对训练集进行特征抽取
	tf=TfidfVectorizer()
	
	# 4.以训练集当中词的列表进行每篇文章重要性统计
	x_train=tf.fit_transform(x_train)
	print(tf.get_feature_names())
	x_test=tf.transform(x_test)
	
	# 5.进行朴素贝叶斯算法的预测
	mlt=MultinominalNB(alpha=0.1)
	mul.fit(x_train,y_train)
	y_predict=mlt.predict(x_test)
	print("预测的文章类别为：",y_predict)
	print("准确率为：",mlt.score(x_test,y_test))
	
	return None
	
if __name__="__main__":
	naivebayes()

4.优点：

• 朴素贝叶斯发源于古典数学理论，有稳定的分类效率
• 对缺失数据不太敏感，算法也比较简单，常用于文本分类
• 分类准确度高，速度快
  5.缺点：由于使用了样本属性独立性的假设，所以如果样本属性有关联时其效果不好。也就是说，如果训练集文章中有很多干扰的词汇，会对分类结果造成干扰，神经网络会更好。