商品评论情感分析

最新推荐文章于 2024-09-12 21:05:39 发布

WuWuWu_bug

最新推荐文章于 2024-09-12 21:05:39 发布

阅读量461

点赞数 11

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/WuWuWu_bug/article/details/136040254

版权

本文介绍了如何运用Python的sklearn库中的朴素贝叶斯方法对商品评价进行情感分析，包括数据预处理（如分词、停用词去除）、特征提取（词频统计）以及训练集和测试集的划分，最终评估模型在13条数据上的准确性。

摘要由CSDN通过智能技术生成

基于朴素贝叶斯公式进行商品评价情感分析

import numpy as np
import pandas as pd
import jieba
import matplotlib.pyplot as plt
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

#读入数据
data=pd.read_json("work/情感倾向.json")

# 2. 数据基本处理
#2.1 取出内容列，对数据进行分析
content = data["内容"]

# 2.2 选择停用词
# 加载停用词
stopwords = []
with open("work/停用词.txt" ,'r', encoding="utf-8") as f:
    lines = f.readlines()
    for tmp in lines:
        line = tmp.strip()
        stopwords.append(line)

# 2.3 把“内容”转换为标准格式
comment_lst = []
for tmp in content:
    print("原始数据：", tmp)
    
    # 通过结巴分词对文本数据进行切割（把一句句话变成一个个词）
    seg_lst = jieba.cut(tmp, cut_all=False)
    print("切割后的数据", seg_lst)
    
    # 拼接字符串
    seg_str = ','.join(seg_lst)  
    print("拼接后的字符串：", seg_str)
    comment_lst.append(seg_str)
    print()

#2.4 统计词的个数
# 实例化统计词对象
cv = CountVectorizer(stop_words=stopwords)

# 进行词数统计
X = cv.fit_transform(comment_lst)  # 计算出各个词语出现的次数
name = cv.get_feature_names_out()  # 获取词袋中所有文本的关键字


## 2.5 准备训练集和测试集（因为总共才13条数据，因此我们手动分训练集和测试集就行，不用sklearn的方法了）
# 准备训练集
x_train = X.toarray()[:10, :]
y_train = data["评价"][:10]

# 准备测试集
x_test = X.toarray()[10:, :]
y_test = data["评价"][10:]

print("训练集：\r\n", x_train, "\r\n", y_train)
print("测试集：\r\n", x_test, "\r\n", y_test)
score = mnb.score(x_test, y_test)
print("模型准确率为：", score * 100, "%")