文章目录
朴素贝叶斯算法
1、概率基础
- 联合概率:包含多个条件,且所有条件同时成立的概率
记作:P(A, B)
- 条件概率:就足事件A在另外一个事件B已经发生条件下的发生概率
记作:P(A|B)
特性:P(A1,A2|B)= P(A1|B)P(A2|B)
注意:此条件概率的成立,是由于A1,A2相互独立的结果。
2、朴素贝叶斯介绍
朴素贝叶斯-贝叶斯公式
举例
特征\统计 | 科技 | 娱乐 | 汇总(求和) |
---|---|---|---|
“商场” | 9 | 51 | 60 |
“影院” | 8 | 56 | 64 |
“支付宝” | 20 | 15 | 35 |
“云计算” | 63 | 0 | 63 |
汇总(求和) | 100 | 121 | 221 |
现有一篇被预测文档:出现了影院,支付宝,云计算,计算属于科技、娱乐的
类别概率?
都除以P(W),所以省略P(W)
某个类别为0,显然是不合适的,如果词频列表里面有很多出现次数为0,很可能计算结果都为0
解决办法
3.朴素贝叶斯算法案例
3.1 sklearn朴素贝叶斯实现API
- sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
- 朴素贝叶斯分类
- alpha:拉普拉斯平滑系数
3.2 sklearn-20类新闻分类
20个新闻组数据集包含20个主题的18000个新闻组帖子
下载数据集出错如何解决
https://jingyan.baidu.com/article/ca2d939dc82d90aa6d31ce16.html
3.3 朴素贝叶斯案例流程
- 加载20类新闻数据,并进行分割
- 生成文章特征词
- 朴素贝叶斯estimator流程进行预估
from sklearn.datasets import load_iris, fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
def naviebayes():
#
news = fetch_20newsgroups(subset='all')
#数据分割
x_train, x_test, y_train, y_test =train_test_split(news.data,news.target,test_size=0.25)
# 对数据集进行特征抽取
tf=TfidfVectorizer()
#以训练集当中的词的列表进行每篇文章重要性分析
x_train=tf.fit_transform(x_train)
print(tf.get_feature_names())
x_test=tf.transform(x_test)
#进行朴素贝叶斯算法
mlt=MultinomialNB(alpha=1.0)
print(x_train)
mlt.fit(x_train,y_train)
y_predict=mlt.predict(x_test)
print("预测的文章类别为:", y_predict)
# 得出准确率
print("准确率为:",mlt.score(x_test,y_test))
return None
naviebayes()
结果:
[[0. 0.01483232 0. ... 0. 0. 0. ]
[0. 0. 0. ... 0. 0. 0. ]
[0. 0. 0. ... 0. 0. 0. ]
...
[0. 0. 0. ... 0. 0. 0. ]
[0. 0. 0. ... 0. 0. 0. ]
[0. 0. 0. ... 0. 0. 0. ]]
预测的文章类别为: [ 0 15 2 ... 2 17 15]
准确率为: 0.8582342954159593
4.朴素贝叶斯分类特点总结
- 优点:
- 朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。
- 对缺失数据不太敏感,算法也比较简单,常用于文本分类。
- 分类准确度高,速度快
- 缺点:
- 需要知道先验概率P(F1,F2,…|C),因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。(训练集误差大,结果不好)
- 由于使用了样本属性独立性的假设,所以如果样本属性有关联时效果不好