机器学习之贝叶斯

最新推荐文章于 2020-12-05 20:52:06 发布

心灵在路上

最新推荐文章于 2020-12-05 20:52:06 发布

阅读量144

点赞数

分类专栏：机器学习算法

本文链接：https://blog.csdn.net/weixin_44513830/article/details/96916168

版权

机器学习算法专栏收录该内容

8 篇文章 0 订阅

订阅专栏

贝叶斯

Demo

简介

贝叶斯定理是18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出得重要概率论理论。以下摘一段 wikipedia 上的简介：

所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有 N 个白球，M 个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题，就是所谓的逆向概率问题。

定义

贝叶斯定理是关于随机事件 A 和 B 的条件概率：
在这里插入图片描述
其中P(A|B)是在 B 发生的情况下 A 发生的可能性。
在贝叶斯定理中，每个名词都有约定俗成的名称：

P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。

P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。

P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。

P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。

朴素贝叶斯场景

机器学习的一个重要应用就是文档的自动分类。

在文档分类中，整个文档（如一封电子邮件）是实例，而电子邮件中的某些元素则构成特征。我们可以观察文档中出现的词，并把每个词作为一个特征，而每个词的出现或者不出现作为该特征的值，这样得到的特征数目就会跟词汇表中的词的数目一样多。

朴素贝叶斯是上面介绍的贝叶斯分类器的一个扩展，是用于文档分类的常用算法。下面我们会进行一些朴素贝叶斯分类的实践项目。

朴素贝叶斯原理

朴素贝叶斯工作原理

提取所有文档中的词条并进行去重
获取文档的所有类别
计算每个类别中的文档数目
对每篇训练文档:
对每个类别:
如果词条出现在文档中–>增加该词条的计数值（for循环或者矩阵相加）
增加所有词条的计数值（此类别下词条总数）
对每个类别:
对每个词条:
将该词条的数目除以总词条数目得到的条件概率（P(词条|类别)）
返回该文档属于每个类别的条件概率（P(类别|文档的所有词条)）

朴素贝叶斯算法特点

优点: 在数据较少的情况下仍然有效，可以处理多类别问题。
缺点: 对于输入数据的准备方式较为敏感。
适用数据类型: 标称型数据。

scikit-learn 朴素贝叶斯类库使用小结

朴素贝叶斯是一类比较简单的算法，scikit-learn中朴素贝叶斯类库的使用也比较简单。相对于决策树，KNN之类的算法，朴素贝叶斯需要关注的参数是比较少的，这样也比较容易掌握。在scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。其中GaussianNB就是先验为高斯分布的朴素贝叶斯，MultinomialNB就是先验为多项式分布的朴素贝叶斯，而BernoulliNB就是先验为伯努利分布的朴素贝叶斯。

这三个类适用的分类场景各不相同，一般来说，如果样本特征的分布大部分是连续值，使用GaussianNB会比较好。如果如果样本特征的分大部分是多元离散值，使用MultinomialNB比较合适。而如果样本特征是二元离散值或者很稀疏的多元离散值，应该使用BernoulliNB。

基于高斯分布的

import numpy as np
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
Y = np.array([1, 1, 1, 2, 2, 2])
from sklearn.naive_bayes import GaussianNB
clf = GaussianNB()
#拟合数据
clf.fit(X, Y)
print ("==Predict result by predict==")
print(clf.predict([[-0.8, -1]]))
print ("==Predict result by predict_proba==")
print(clf.predict_proba([[-0.8, -1]]))
print ("==Predict result by predict_log_proba==")
print(clf.predict_log_proba([[-0.8, -1]]))

在这里插入图片描述
此外，GaussianNB一个重要的功能是有 partial_fit方法，这个方法的一般用在如果训练集数据量非常大，一次不能全部载入内存的时候。这时我们可以把训练集分成若干等分，重复调用partial_fit来一步步的学习训练集，非常方便。后面讲到的MultinomialNB和BernoulliNB也有类似的功能。

Demo

def multinormalcls():
    """
    朴素贝叶斯对20类新闻进行分类
    :return:
    """
    news = fetch_20newsgroups(subset='all')

    # 1、分割数据集
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.3)

    # 2、进行文本特征抽取（算法能够知道特征值）
    tfidf = TfidfVectorizer()

    # 对训练集特征值进行特征抽取
    x_train = tfidf.fit_transform(x_train)

    # a = tfidf.get_feature_names()
    # print(a)
    # print(x_train.toarray())

    # 对测试集的特征值进行抽取
    # x_test = tfidf.fit_transform(x_test)
    # b = tfidf.get_feature_names()
    # print(b)
    #
    # print(a==b)
    x_test = tfidf.transform(x_test)

    # 进行朴素贝叶斯算法预测
    mlb = MultinomialNB(alpha=1.0)

    mlb.fit(x_train, y_train)

    # 预测，准确率
    print("预测测试集当中的文档类别是：", mlb.predict(x_test)[:50])
    print("测试集当中的文档真实类别是：", y_test[:50])

    # 得出准确率
    print("文档分类的准确率为：", mlb.score(x_test, y_test))

    return None