用朴素贝叶斯算法对sklearn自带的新闻进行分类

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split
def nb_news():
    #1)加载数据
    news=fetch_20newsgroups(data_home=r"D:\桌面上的文件\数据挖掘",subset="all")
    #2)数据划分
    x_train,x_test,y_train,y_test=train_test_split(news.data,news.target)
    #3)文本特征抽取
    transfer=TfidfVectorizer()
    transfer.fit_transform(x_train)
    transfer.transform(x_test)
    #4)构建朴素贝叶斯算法预估器
    estimator=MultinomialNB()
    estimator.fit(x_train,y_train)
    # 5)模型评估
    # 方法一:直接比对真实值和预测值
    y_predict = estimator.predict(x_test)
    print("结果:", y_predict)
    print("直接比对真实值和预测值", y_test == y_predict)
    # 方法二:计算准确率
    score = estimator.score(x_test, y_test)
    print("准确率为:", score)
    return None
if __name__ == '__main__':
    # 执行函数
    nb_news()
首先,你需要准备好新闻分类的数据集。可以使用sklearn自带的20 Newsgroups数据集,也可以使用其他的新闻数据集。 然后,你需要将数据集进行处理和预处理,例如去除停用词、提取特征等。 接下来,你可以使用sklearn的CountVectorizer或TfidfVectorizer来将文本数据转换成数字特征向量。 最后,你可以使用sklearn朴素贝叶斯算法进行分类sklearn提供了三种朴素贝叶斯分类算法:MultinomialNB、BernoulliNB和GaussianNB。在文本分类,MultinomialNB是最常用的算法,因为它适用于多项式分布的特征,而且在文本分类效果比较好。 下面是一个示例代码: ```python from sklearn.datasets import fetch_20newsgroups from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import accuracy_score # 加载数据集 newsgroups_train = fetch_20newsgroups(subset='train') newsgroups_test = fetch_20newsgroups(subset='test') # 特征提取 vectorizer = CountVectorizer(stop_words='english') X_train = vectorizer.fit_transform(newsgroups_train.data) X_test = vectorizer.transform(newsgroups_test.data) y_train = newsgroups_train.target y_test = newsgroups_test.target # 训练模型 clf = MultinomialNB() clf.fit(X_train, y_train) # 预测分类结果 y_pred = clf.predict(X_test) # 计算模型准确率 accuracy = accuracy_score(y_test, y_pred) print('Accuracy:', accuracy) ``` 这个示例代码使用了20 Newsgroups数据集,并将文本数据转换成数字特征向量。然后使用MultinomialNB算法进行分类,并计算模型的准确率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值