朴素贝叶斯之书评预测

朴素贝叶斯实现的是分类预测

资料：https://download.csdn.net/download/sinat_38068807/11224164

 （一）目标描述

（1）目标：

爬取用户评论内容后，对评论进行预测，是好评还是差评

预测的前提是有样本能训练预测模型

（2）细节

提取用户评论内容的关键字

方法：

去除停用字后将所有评论放到一个列表中，计算词频，创建词频矩阵

本例将词频矩阵切出前10 条与data['评价']的前十条进行训练，后三条作为测试数据

（二）代码实现

import pandas as pd
import jieba

data = pd.read_csv(r"C:\Users\Administrator\Documents\Tencent Files\1239112948\FileRecv\data.csv",encoding='gbk')
# print(data)
#特征值
column1 = data['内容']
column2= data['评价']

##===========文本数据处理=========
#评论中有的例如语气词不重要，将这些词去除，要用到我们准备好的
#停用词文件，里面都是不重要的词。这样与评论结合，取出评论的关键词

#这里，停用词文件中可能有重复的，先去重。
#处理停用词，注意，先去字符串首尾空，再去重
with open(r'C:\Users\Administrator\Documents\Tencent Files\1239112948\FileRecv\stopwords.txt','r',encoding='utf-8')as fp:
    stopwords = fp.readlines()

#去除字符串首尾空值
stopwords_list = list(map(lambda word:word.strip(),stopwords))
#去重
stopwords_list = set(stopwords_list)

#二、对评论分词，然后去除评论中的停用词
comment_list = []#此列表的每一项就是一个关键词提取后的评论
for comment in column1:
    #分词
    seg_list = jieba.cut(comment,cut_all=False)#精确模式
    # print(list(seg_list))#['从', '编程', '小白', '的', '角度看', '，', '入门', '极佳', '。']

    #去除停用词
    final = '' #连接去除停用词之后的词语
    for seg in seg_list:
        if seg not in stopwords_list:
            final += seg
    print('去除停用词之后的句子\n',final)
    comment_list.append(final)
print('处理好的评价列表：',comment_list)
#处理好的评价列表： ['编程小白角度看，入门极佳。', '入门书，简洁，适合小白。', '讲解，细节顾及，三个项目受益匪浅。', '前半部分讲概念深入浅出，要言不烦，很赞',
#  '一遍写，有个概念', '中规中矩教科书，基础依旧看不懂', '内容太浅显，适合语言编程基础', '破书一本', '适合完完全全小白读，语言经验书', '基础知识写挺', '太基础', '啰嗦。。适合编程经验小白', '真的真的建议买']
##注意这里的逗号句号不影响结果，如果想去掉，可以在
##停用词txt文件里加上

#计算词频
from sklearn.feature_extraction.text import CountVectorizer
#1.计算每个词语出现的次数
vector = CountVectorizer()
X = vector.fit_transform(comment_list)
# print(X)
#2.查看分词之后的关键字
words = vector.get_feature_names()
# print(words)
#3.词频矩阵
print(X.toarray())

##=========朴素贝叶斯分类=============
#1.分割训练集测试集
x_train = X.toarray()[:10]##训练集
x_test = X.toarray()[10:]##测试集

#2.处理标签：1为好评；0为差评
y = list(map(lambda x: 1 if x =='好评' else 0,column2))
print(y)
y_train = y[:10]
y_test = y[10:]

#3.算法实现
from sklearn.naive_bayes import MultinomialNB
clf = MultinomialNB()
clf.fit(x_train, y_train)
#预测
y_predict = clf.predict(x_test)
print('预测结果\n',y_predict)
print('真实结果\n',y_test)