文本二分类-区分评论的正负向

本文是对中文商品评论的二分类的简单实现，主要功能是判别评论信息的好坏（即判断是好评还是差评），调用了gensim和sklearn相关工具包。

数据集使用github上前辈们分享的商品评论数据集，数据集地址：https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/online_shopping_10_cats/intro.ipynb

内容包含： 1.对原始数据集的预处理（去标点，分词）； 2.转为doc2vec向量； 3.使用sklearn的logistic回归模块进行模型训练、分类预测，并计算预测准确率

主要步骤：

（1）提取评论信息

（2）提取评论中的有效信息（这里提取了评论中的所有中文字符）

（3）分词；将每个评论转换为一个分词列表，并合并为一个大列表

（4）训练doc2vec模型并保存

（5）使用训练好的doc2vec模型将所有分词列表转换为doc2vec向量

（6）将上一步的向量数据集分割为训练集和测试集

（7）训练logistic回归分类器

（8）在测试集上测试model的准确率

直接看代码：

import pandas as pd
import jieba
import re
import gensim
import logging
path ='/Users/admin/Documents/Dataset/' 
# 载入数据，csv文件一般是逗号分隔的数据集
data = pd.read_csv(path +'online_shopping_10_cats.csv') 
# 提取“水果类”的评论用作本次实验
data_fruit = data[data.cat == '水果']
# 中文字符提取函数，仅提取评论中的中文字符，忽略标点符号以及英文字母、单词等
def extractChinese(s):
    pattern="[\u4e00-\u9fa5]+"#中文正则表达式
    regex = re.compile(pattern) #生成正则对象 
    results = regex.findall(s) #匹配
    return "". join(results)
# 将原始评论（仅含中文字符）进行分词，最终获得一个corpus列表，列表中的每一项是每个评论对应的分词列表
corpus = []
for rev in data_fruit.review:
    rev = extractChinese(rev)
    corpus.append(list(jieba.cut(rev)))
print(corpus[0])
# 训练并保存doc2vec模型
from gensim.test.utils import common_texts
from gensim.models.doc2vec import Doc2Vec, TaggedDocument

model_path = './fruit_review_d2v.model' #模型保存路径
documents = [TaggedDocument(doc, [i]) for i, doc in enumerate(corpus)] #为corpus数据集打标签
model = Doc2Vec(documents, vector_size=300, window=2, min_count=1, workers=4)
model.save(model_path)
model_d2v = Doc2Vec.load('./fruit_review_d2v.model')
# 使用训练好的模型将所有的review表示为向量,并从原始数据集中获取评论的标签
vectors = []
for review in corpus:
    vectors.append(model_d2v.infer_vector(review))
from sklearn.model_selection import train_test_split
x = vectors # 转化为向量后的数据集
y = list(data_fruit.label) #数据集的标签（好评1/差评0）
x_train,x_test,y_train,y_test = train_test_split(x,y,random_state=1) #将预处理后的数据集分割为训练集和测试集
#  建立和训练模型、使用模型并计算模型预测准确率
from sklearn.linear_model import LogisticRegression
import numpy as np
LRmodel = LogisticRegression() #建立logistic回归模型
LRmodel.fit(x_train,y_train) # 使用训练集训练模型
y_hat = LRmodel.predict(x_test) # 使用测试集进行类别预测
result = y_hat == y_test # 记录测试集中预测准确的数量
acc = np.mean(result) # 计算模型预测准确率
print(acc)

最终的预测结果准确率为74%，效果一般。这里可以优化的地方有很多，在分词、词性加权等地方应该都有优化空间。

转载于:https://www.cnblogs.com/byugo/p/10214985.html