分类算法-朴素贝叶斯算法

分类算法-朴素贝叶斯算法

1. 概率基础

联合概率：包含多个条件，且所有条件同时成立的概率。记作：P(A,B) = P(A)P(B)

条件概率：事件A在事件B已经发生条件下的发生概率。记作：P(A|B) =P(AB)/P(B)

特性：P(A1,A2|B) = P(A1|B)P(A2|B)-----其中A1,A2相互独立

2. 朴素贝叶斯介绍

贝叶斯公式：

也即：P(B|A) = P(AB)/P(A) = P(A|B)P(B)/P(A)

其中：A可看作文章（词1、词2、词3…）B为文章类别，如科技、娱乐…

sklearn朴素贝叶斯实现API：sklearn.naive_bayes.MultinomialNB

语法：

sklearn.naive_bayes.MultinomialNB(alpha = 1.0)------朴素贝叶斯分类

alpha：拉普拉斯平滑系数（防止分类时某个类别的概率为0）

朴素贝叶斯算法案例

案例流程：

1.加载20类新闻数据，并进行分割

2.生成文章特征词

3.朴素贝叶斯estimator流程进行预估

from sklearn.naive_bayes import MultinomialNB
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer

def naviebayes():
    """朴素贝叶斯进行文本分类"""
    #获取数据
    news = fetch_20newsgroups(subset='all')
    #对数据进行分割  x:特征值  y:目标值
    x_train, x_test, y_train, y_test = train_test_split(news.data,news.target,test_size=0.25)
    #对数据集进行特征抽取
    tf = TfidfVectorizer()
    #以训练集当中的词的列表进行每篇文章重要性统计
    x_train = tf.fit_transform(x_train)
    x_test = tf.transform(x_test)
    #进行朴素贝叶斯算法的预测
    mlt =MultinomialNB(alpha=1.0)
    mlt.fit(x_train,y_train)
    y_predict = mlt.predict(x_test)
    print('预测文章的类别', y_predict)
    print('准确率为', mlt.score(x_test,y_test))

if __name__ == '__main__':
    naviebayes()

结果为：

朴素贝叶斯分类优缺点

优点：

朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

对缺失数据不太敏感，算法也比较简单，常用于文本分类。

分类准确度高，速度快

缺点：

由于使用了样本属性独立性的假设，所以如果样本属性有关联时其效果不好。