机器学习之朴素贝叶斯算法

1. 机器学习算法分类

1.1 知识储备【朴素贝叶斯算法】

1.1.1 条件概率和联合概率

1.1.2朴素贝叶斯-贝叶斯公式

1.1.3 贝叶斯公式举例

拉普拉斯平滑

1.2 朴素贝叶斯算法案例

1.2.1 sklearn朴素贝叶斯实现API

• sklearn.naive_bayes.MultinomialNB(alpha = 1.0)

  • 朴素贝叶斯分类

  • alpha：拉普拉斯平滑系数 默认为1.0

1.2.2 算法案例和流程

• sklearn 20类新闻分类

• 20个新闻组数据集包含20个主题的18000个新闻组帖子

• 朴素贝叶斯案例流程

  • 1、加载20类新闻数据，并进行分割
  • 2、生成文章特征词
  • 3、朴素贝叶斯estimator流程进行预估

1.2.3 预测文本类别的相关代码

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report


def naviebayes():
    """
    朴素贝叶斯进行文本分类
    :return: None
    """
    news = fetch_20newsgroups(subset='all')

    # 进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)

    # 对数据集进行特征抽取
    tf = TfidfVectorizer()

    # 以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d']
    x_train = tf.fit_transform(x_train)

    print(tf.get_feature_names())

    x_test = tf.transform(x_test)

    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)

    print(x_train.toarray())

    mlt.fit(x_train, y_train)

    y_predict = mlt.predict(x_test)

    print("预测的文章类别为：", y_predict)

    # 得出准确率
    print("准确率为：", mlt.score(x_test, y_test))

    print("每个类别的精确率和召回率：", classification_report(y_test, y_predict, target_names=news.target_names))

    return None


if __name__ == "__main__":
    naviebayes()

输出的结果为：

1.3 朴素贝叶斯分类优缺点

另外假设了文章中一些词与另外一些是没有关系的，-------》不太靠谱
而且，训练集去进行统计词这些工作，-------》会对结果造成影响

2. 分类模型的评估

2.1 精确率(Precision)和召回率(Recall)

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201006172010819.png#pic_center

2.2 其他分类标准

2.3 分类模型评估API