机器学习基础（4）：朴素贝叶斯算法（附python代码和详细注释）

朴素贝叶斯算法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。前提各个特征条件独立，也是“朴素”之名的来历。

1. 概率公式

联合概率：包含多个条件，且所有条件同时成立的概率
记作：P(A,B) = P(A)P(B)

条件概率：事件A在事件B已经发生条件下的发生概率
记作：P(A|B) P(A1, A2|B) = P(A1|B)P(A2|B) 且 A1 和 A2相互独立

2. 实例分析：文档分类任务

首先给出贝叶斯公式：
$$P\left(C|W\right)=\frac{P\left(W|C\right)P\left(C\right)}{P\left(W\right)}$$

注：W为给定文档的特征数，C为文档类型，其中C可以为不同的类别。

公式可以理解为：
$$P\left(C|F1,F2,...\right)=\frac{P\left(F1,F2,...|C\right)P\left(C\right)}{P\left(F1,F2,...\right)}$$
其中F为具体的特征（频数统计，预测文档提供）。

例如：

给定一个文档数据集（排序方法使用TF-IDF）：

现有一篇被预测文档：出现了影院，支付宝，云计算，计算属于科技、娱乐的类别概率？

最终将该文档划分为科技的类别。

思考一下：其中属于娱乐的类别概率为0，可是文章中出现影院这一词，那么是否就真的完全没有一点概率使得文章属于娱乐呢？

解决方案：

引入拉普拉斯平滑：

$$P\left(F1|C\right)=\frac{Ni+a}{N+am}$$
α为指定的拉普拉斯平滑系数，一般为1，m为训练文档中的统计出的特征词个数。

粗略计算结果：

这样处理完之后结果就不会为0，更符合实际情况，同样另一个也需要这样的处理。

3. 算法实现(python)

数据集(此数据集为sklearn包自带的, 无需另外下载)：

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report


def naviebayes():
    """
    朴素贝叶斯进行文本分类
    :return: None
    """
    news = fetch_20newsgroups(subset="all")
    # 对数据集进行划分
    # 注意返回值，既含有训练集 train x_train,y_train 也有测试集test。
    x_train , x_test , y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)

    # 对数据集进行特征抽取
    tf = TfidfVectorizer()

    # 以数据集中的词的列表进行每篇文章重要性的统计['a', 'b', 'c']
    x_train = tf.fit_transform(x_train)

    print(tf.get_feature_names())

    # 前面如果fit 或者 fit_transform之后，后面只需要transform即可
    x_test = tf.transform(x_test)

    # 进行朴素贝叶斯算法
    mlt = MultinomialNB(alpha=1.0)

    # 将稀疏表示变成向量表示
    print(x_train.toarray())

    mlt.fit(x_train,y_train)

    y_predict = mlt.predict(x_test)

    print("预测的文章类别为：", y_predict)

    # 获得准确率
    print("准确率为：", mlt.score(x_test, y_test))

    print("每个类别的精确率和召回率",classification_report(y_test, y_predict, target_names=news.target_names))

    return None


if __name__ == "__main__":
    naviebayes()

运行结果:

总结

特点：训练集对结果影响很大，且算法无需调参
优点：1.分类效果稳定 2.对缺失数据不敏感，常用于文本分类
缺点：算法是假设特征之间是独立的，如果特征之间有关联则会影响效果