目录
1,概率基础
- 联合概率:包含多个条件,且所有条件同时成立的概率
- 记作:P(A,B)
- 特性:P(A, B) = P(A)P(B)<=>A B相互独立
- 条件概率:就是事件A在另外一个事件B已经发生条件下的发生概率
- 记作:P(A|B)
- 特性:P(A1,A2|B) = P(A1|B)P(A2|B)
2,贝叶斯公式
3,朴素贝叶斯算法
原理:朴素+贝叶斯。在假设特征与特征之间相互独立的条件下,利用贝叶斯公式来计算出现概率 。通常用于文本分类之中
4,文本分类
可能会由于样本数量过少,出现某个概率为0。因此引入拉普拉斯平滑系数
4.1 拉普拉斯平滑系数
目的:防止计算出的分类概率为0
m为出现的特征词个数,不是出现次数
5.API
- sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
- 朴素贝叶斯分类
- alpha:拉普拉斯平滑系数
6,案例:20类新闻分类
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
def news_demo():
"""
用朴素贝叶斯算法对新闻分类
:return:
"""
#1.获取数据
news=fetch_20newsgroups(subset="all")
#2.划分数据集
x_train,x_test,y_train,y_test=train_test_split(news.data,news.target)
#3.特征工程:用tfidy文本特征提取
transfer=TfidfVectorizer()
x_train=transfer.fit_transform(x_train)
x_test=transfer.transform(x_test)
#4.朴素贝叶斯算法模型训练
estimator=MultinomialNB()
estimator.fit(x_train,y_train) #??
#5.评估模型
y_predict=estimator.predict(x_test)
print("真实值与预测值:\n",y_predict==y_test)
score=estimator.score(x_test,y_test)
print("预测准确率为:\n",score)
return None
news_demo()
7,总结
- 优点:
- 朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。
- 对缺失数据不太敏感,算法也比较简单,常用于文本分类。
- 分类准确度高,速度快
- 缺点:
- 由于使用了样本特征属性独立性的假设,所以如果特征属性有关联时其效果不好