机器学习（8）朴素贝叶斯算法（20条新闻分类）

目录

一、基础理论

二、实战：20条新闻分类

 1、读取数据

2、训练集划分

3、特征工程（文本特征提取）

 4、朴素贝叶斯算法训练

 5、模型评估

方法一：预测值与真实值比对

方法二：计算准确率

总代码

---

一、基础理论

朴素贝叶斯算法：（朴素：假设数据集属性之间是相互独立的）因此算法的逻辑性十分简单,并且算法较为稳定,当数据呈现不同的特点时,朴素贝叶斯的分类性能不会有太大的差异。

朴素：假设特征与特征之间相互独立。

贝叶斯：贝叶斯公式。

贝叶斯公式：

 最后概率最大的即为预测结果。

 

优点：

有稳定分类效率；

对确实数据不太敏感；

算法比较简单，适合于文本分类；

分类准确度高，速度快。

缺点：

由于有独立性假设，所以特征属性有关联时，分类效果不好。

二、实战：20条新闻分类

 1、读取数据

# 1、读取数据
news = fetch_20newsgroups(subset='all')     #subset：获取训练集

2、训练集划分

# 2、数据集划分
train_data, test_data, train_target, test_target = train_test_split(news.data, news.target)

3、特征工程（文本特征提取）

# 3、特征工程（文本特征抽取）
transfer = TfidfVectorizer()
train_data = transfer.fit_transform(train_data)
test_data = transfer.transform(test_data)

 4、朴素贝叶斯算法训练

# 4、朴素贝叶斯算法
estimstor = MultinomialNB()
estimstor.fit(train_data, train_target)

 5、模型评估

方法一：预测值与真实值比对

# 方法一：预测值与真实值比对
predict = estimstor.predict(test_data)
print(test_target == predict)

方法二：计算准确率

# 方法二：计算准确率
score = estimstor.score(test_data, test_target)
print('准确率', score)

总代码

# 新闻分类
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB

# 1、读取数据
news = fetch_20newsgroups(subset='all')     #subset：获取训练集

# 2、数据集划分
train_data, test_data, train_target, test_target = train_test_split(news.data, news.target)

# 3、特征工程（文本特征抽取）
transfer = TfidfVectorizer()
train_data = transfer.fit_transform(train_data)
test_data = transfer.transform(test_data)

# 4、朴素贝叶斯算法
estimstor = MultinomialNB()
estimstor.fit(train_data, train_target)

# 5、模型评估
# 方法一：预测值与真实值比对
predict = estimstor.predict(test_data)
print(test_target == predict)

# 方法二：计算准确率
score = estimstor.score(test_data, test_target)
print('准确率', score)