机器学习算法: 朴素贝叶斯算法

朴素贝叶斯算法原理简述

理解朴素贝叶斯算法之前, 先应该理解什么是条件概率. 条件概率是指, 在事件A已经发生的情况下, 事件B发生的概率. 数学符号记作P(A|B). 机器学习就是利用这个原理, 对数据进行分类.
分类的过程通俗来讲, 就是:
我们有y1 ~ yn 共n种分类, 然后我们有待分类的数据x, 最终想确定x属于哪一个分类. 所以我们就有一种思想, 找出条件概率最大的y分类, 就知道x属于哪一类了. 既求: max{ P(x|y1) ... P(x|yn) }

代码示例

以下案例使用约20w篇文章进行训练, 根据文章关键词将文章分为20个类别
利用训练好的模型, 我们可以对一段未知的文本进行分类

# 导入数据集, 数据集约20M左右, 下载需要时间
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
# 文本特征提取工具, 它会将文本转换为one-hot编码
from sklearn.feature_extraction.text import CountVectorizer
# 贝叶斯算法估计器
from sklearn.naive_bayes import MultinomialNB

news = fetch_20newsgroups(subset="all")
x = news.data
y = news.target

# 数据分隔
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3)

# 特征处理, 数据转换, 将文本数据转换为one-hot编码, 利于机器提取特征
count = CountVectorizer()
x_train = count.fit_transform(x_train)
x_test = count.transform(x_test)

# 使用朴素贝叶斯估计器建模
mnb = MultinomialNB(alpha=1.0)
mnb.fit(x_train, y_train)

# 验证准确率
score = mnb.score(x_test, y_test)
print("score:", score)

# 自己编写一段文本, 测试分类结果
test_data = ["today is a great day. the computer has became the most useful tool for human.the next most useful tool may be AI machines."]
test_data = count.transform(test_data)

y_predict = news.target_names[int(mnb.predict(test_data))]
print(y_predict)