基于酒店评论的文本情感分析

信息内容安全 专栏收录该内容
7 篇文章 0 订阅

使用数据集: 谭松波–酒店评论语料
其中包含正面数据集和负面数据集
获取链接:https://pan.baidu.com/s/1oObY4A_Ovo1CY00UrgbBKg
提取码:kth7
这里感谢大佬的分享的数据:
原链接:
https://blog.csdn.net/LiuKingJia/article/details/104228617

本文中做的工作是将预料划分为积极和消极两种情感,目前使用的是SVM模型进行训练,但是该模型训练效果较差,后期会改用其他模型

达到准确率为76%
其中正向95%左右
负面55%左右(由于使用的数据集是不对称数据集,负面语料较少)
仅供学习

##该代码所有者为中国地质大学 2018级 信息安全专业 朱靖宇
import jieba
import numpy as np
import pandas as pd
import os.path
from gensim.models.word2vec import Word2Vec
import glob
from sklearn.externals import joblib
from sklearn.model_selection import cross_val_score
from sklearn.svm import SVC
test_path="data/test/"
tol_num=0
right=0
all_pos_files=glob.glob(os.path.join(test_path,"pos/*.txt"))
all_pos_files=glob.glob(os.path.join(test_path,"pos/*.txt"))
all_neg_files=glob.glob(os.path.join(test_path,"neg/*.txt"))
#以上是测试数据,未附,需要的人可以通过把后面的训练数据做划分得到测试集
stopLists_path="stoplist.txt"
stopwords=[]
with open(stopLists_path,'r',encoding='utf-8') as f_stop:
    for line in f_stop:
        if len(line)>0:
            stopwords.append(line.strip)
def split_stopwords(words,stoplist):
    word_list=[]
    for word in words:
        if (word.strip() not in stoplist):
            word_list.append(word.strip())
    return word_list
#读取文本,预处理
neg=pd.read_csv('data/汇总/汇总/neg.txt',sep='\n',header=None)
pos=pd.read_csv('data/汇总/汇总/pos.txt',sep='\n',header=None)
#此处为训练集

neg['words']=neg[0].apply(lambda x: jieba.lcut(str(x).lstrip('-1    '))) #将函数应用到所有数据
pos['words']=pos[0].apply(lambda x: jieba.lcut(str(x).lstrip('-1    ')))

pos_true=[]
neg_true=[]
for words in pos.words:
    pos_true.append(split_stopwords(words,stopwords))
for words in neg.words:
    neg_true.append(split_stopwords(words,stopwords))

x=np.concatenate((pos_true,neg_true)) #合并训练集
y=np.concatenate((np.ones(len(pos_true)),np.zeros(len(neg_true))))    #标志,1 pos ,0 neg

if (os.path.exists("word_embedding")):
    w2v=Word2Vec.load("word_embedding")
else:
    w2v=Word2Vec(size=300,min_count=10)
    w2v.build_vocab(x)
    w2v.train(x,total_examples=w2v.corpus_count,epochs=w2v.iter)
    w2v.save("word_embedding")

def total_vec(words):
    vec = np.zeros(300).reshape((1,300)) #初始化数组
    for word in words:
        try:
            vec += w2v.wv[word].reshape((1,300))
        except KeyError:
            continue
    return vec

train_vec = np.concatenate([total_vec(words) for words in x]) #计算每一句话向量

def predict(s,stopList):
    s_words=jieba.lcut(s)
    s_words=split_stopwords(s_words,stopList)
    s_words_vec=total_vec(s_words)
    result =model.predict(s_words_vec)
    if int(result[0])==1:
        print(s,'[积极]')
    else:
        print(s,'[消极]')
    return result

#SVMpart

if (os.path.exists("SVC_model_Emotion.m")):
    model=joblib.load("SVC_model_Emotion.m")
else:
    model = SVC(kernel = 'rbf', verbose=True)
    model.fit(train_vec,y)
    joblib.dump(model,"SVC_model_Emotion.m")

for file in all_pos_files:
    try:
        f=open(file,'r',encoding='GBK')
        test=f.read().strip()
        if (predict(test,stopwords) == 1):
            right += 1
        tol_num+=1
    except UnicodeDecodeError:
        continue
pos_right=right
pos_tol=tol_num

for file in all_neg_files:
    try:
        f=open(file,'r',encoding='GBK')
        test=f.read().strip()
        if (predict(test,stopwords)==0):
            right+=1
        tol_num+=1
    except UnicodeDecodeError:
       continue
neg_right=right-pos_right
neg_tol=tol_num-pos_tol
print("pos数据正确率为"+str(pos_right/pos_tol)+"总数据量为"+str(pos_tol)+"正确量为"+str(pos_right))
print("neg数据正确率为"+str(neg_right/neg_tol)+"总数据量为"+str(neg_tol)+"正确量为"+str(neg_right))
print("正确率为"+str(right/tol_num))
#单纯想交作业的人勿扰
  • 8
    点赞
  • 20
    评论
  • 51
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 岁月 设计师:pinMode 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值