朴素贝叶斯应用案例 —— 商品评论情感分析_商品评论测试数据集(1)

2401_84141210

于 2024-05-14 23:45:42 发布

阅读量412

点赞数 4

分类专栏：程序员文章标签：单元测试功能测试学习

本文链接：https://blog.csdn.net/2401_84141210/article/details/138875374

版权

程序员专栏收录该内容

189 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取

获取数据集：https://pan.baidu.com/s/1zbHsjpzusmyT5QkNWOu2gw?pwd=aune

2 流程实现

首先需要导入本案例需要的包

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

2.1 获取数据集

data = pd.read_csv("./Data/EmotionAnalysis/书籍评价.csv",encoding="gbk")
data.head()

在这里插入图片描述

2.2 数据基本处理

（1）将目标值转换为数字

data.loc[:,"评价"]=="好评"

在这里插入图片描述

# df.loc[:,新列名]=值，添加新列
data.loc[data.loc[:,"评价"]=="好评","评论标号"]=1
data.loc[data.loc[:,"评价"]=="差评","评论标号"]=0
data.head()

在这里插入图片描述
（2）加载停用词表

stopwords=[]
with open("./Data/EmotionAnalysis/stopwords.txt",encoding="utf-8") as f:
    lines = f.readlines()
# print(lines)
    for i in lines:
        line = i.strip()
# print(line)
        stopwords.append(line)

# 对停用词列表去重
stopwords = list(set(stopwords))

（3）把“内容”列处理，转化成标准格式

content = data["内容"]
comment_list = []
for i in content:
# print(i)
    seg_list = jieba.cut(i)
# print(seg\_list)
    seg_str = ','.join(seg_list)
# print(seg\_str)
    comment_list.append(seg_str)
print(comment_list)

在这里插入图片描述
（4）统计词的个数

con = CountVectorizer(stop_words=stopwords)
# 通过 fit\_transform 函数计算各个词语出现的次数
X = con.fit_transform(comment_list) 
# 通过 get\_feature\_names()可获取词袋中所有文本的关键字
name = con.get_feature_names() 

print(X.toarray())  # 通过 toarray()可看到词频矩阵的结果
print(name)

在这里插入图片描述
（5）准备训练集和测试集