朴素贝叶斯算法---学习笔记整理

什么是朴素贝叶斯分类方法：

朴素贝叶斯是基于贝叶斯定理与特征条件独立性假设的分类方法。
朴素:特征与特征之间是相互独立
朴素贝叶斯算法：朴素 + 贝叶斯

应用场景：

文本分类、单词作为特征
为防止计算后的值为0 引用拉普拉斯平滑系数

优点

        对缺失数据不太敏感，算法也比较简单，常用于文本分类。
        分类准确度高，速度快

缺点

        由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好

案例：20类新闻分类

    1）获取数据
    2）划分数据集
    3）特征工程
        文本特征抽取
    4）朴素贝叶斯预估器流程
    5）模型评估

from sklearn.datasets import load_iris  #获取数据
from sklearn.model_selection import train_test_split  #划分数据集
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB


def nb_news():
    """
    用朴素贝叶斯算法对新闻进行分类
    """
    #1、获取数据
    news = fetch_20newsgroups(subset="all")
    
    #2、划分数据集
    x_train,x_test,y_train,y_test = train_test_split(news.data,news.target,random_state=6)

    #3、特征工程:文本特征抽取-tfidf
    transfer = TfidfVectorizer()
    x_train=transfer.fit_transform(x_train)
    x_test=transfer.transform(x_test)
    
    #5、朴素贝叶斯预估器流程
    estimator =MultinomialNB()
    estimator.fit(x_train,y_train)
    #6、模型评估
    y_predict =estimator.predict(x_test)
    #print("y_predict:\n",y_predict)
    print("y_predict:\n",y_predict)
    print("直接比对真实值和预测值:\n",y_test==y_predict)

    #方法二：计算准确率
    score = estimator.score(x_test,y_test)
    print("准确率为：\n",score)
    return None

if __name__=="__main__":
    nb_news()

结果：
y_predict:
[ 2 16 16 … 10 13 13]
直接比对真实值和预测值:
[ True True False … True True False]
准确率为：
0.8423174872665535