机器学习算法基础 DAY 4 朴素贝叶斯算法&算法调优

分类算法-朴素贝叶斯算法

联合概率和条件概率

朴素贝叶斯-贝叶斯公式

属于某个类别的概率为0显然不合适，所以引入拉普拉斯平滑系数。

拉普拉斯平滑系数

sklearn朴素贝叶斯实现API

sklearn.naive_bayes.MultinomialNB(alpha = 1.0)

alpha：拉普拉斯平滑系数

朴素贝叶斯算法案例

sklearn20类新闻分类

20个新闻组数据集包含20个主题的18000个新闻组帖子

案例流程

1. 加载20类新闻数据，并进行分割

2. 生成文章特征词

3. 朴素贝叶斯estimator流程进行预估

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

def naviebayes():
    """
    朴素贝叶斯进行文本分类
    :return: None
    """
    news = fetch_20newsgroups(subset='all')

    # 进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)

    # 对数据集进行特征抽取
    tf = TfidfVectorizer()

    # 以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d']
    x_train = tf.fit_transform(x_train)

    print(tf.get_feature_names())

    x_test = tf.transform(x_test)

    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)

    #print(x_train.toarray())

    #输入训练集特征值和目标值
    mlt.fit(x_train, y_train)

    y_predict = mlt.predict(x_test)

    print("预测的文章类别为：", y_predict)

    # 得出准确率
    print(