情感分析利器——Doc2vec

最新推荐文章于 2024-08-11 13:29:56 发布
最新推荐文章于 2024-08-11 13:29:56 发布
阅读量4k 收藏 15
点赞数
分类专栏： NLP
情感分析是自然语言处理（NLP）中的常见的方法应用，是文本分析的一种。所谓文本分析指的是从文字来源中推导出知识和洞见的过程。而情感分析则进一步从文字中自动识别出人们对特定主题的主观看法、情绪以及态度等等资讯。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或者检测在线评论中的差评信息。
          比较简单的情感分析方法利用词语的正负属性来判断句子的情感倾向。句子中的每一个单次都有一个正负得分，乐观的单词为+1，悲观的单词为-1。然后对句子中所有单词的得分进行加总，最后得出句子的情感分值。然而，这种方法存在许多的局限之处，它忽视了句子中上下文的联系。
          另一种方法是将文本视为一个“词袋”。将每一个文本看做是一个1 X N维的向量，其中N表示文本词汇的数量。向量中，每一列代表一个单词，其值为该单词在句子中出现的频数。在获得向量后，可以利用机器学习的分类算法，预测句子的情感倾向。虽然这个方法改进了之前的模型，但仍然忽略了上下文关系以及数据量级情况。
          今天主要介绍一种新的情感分析方法，利用Doc2vec进行情感分析。Doc2vec是基于Word2vec的基础上发展而来的方法，它可以将一段句子表征为实数值向量。具体可参考 Tomas的Distributed Representations of Sentences and Documents论文。说到word2vec， 是 Google 在 2013 年年中开源的一款将词表征为实数值向量的高效工具, 其利用深度学习的思想，可以通过训练，把对文本内容的处理简化为 K 维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。在获得词向量后，对词向量进行平均处理，最终获取到句子向量。然后，利用机器学习的分类算法预测句子的情感倾向。这种方法在微博等短文上的应用效果十分不错，这是因为微博通常只有十几个单词，所以即使经过平均化处理仍能保持相关的特性。一旦我们开始分析段落数据时，如果忽略上下文和单词顺序的信息，那么我们将会丢掉许多重要的信息。对于分析长篇评论，更好的方法是采用Doc2vec来创建输入信息。最近，正好接到一个需要对长文本进行情感分析的工作，便利用Doc2vec进行操作。在此，与大家分享一下我是如何利用Doc2vec对长文本进行情感分析的。

1.数据准备
     本次使用的数据集包含12000+悲观的社交文本，6000+乐观的社交文本，还有12000+的无标注社交文本，共40000+条数据。
2.依赖包下载
     在python中，可以利用gensim库进行Doc2vec模型构建。在进行情感分析前，需要将gensim的依赖包安装好。
3.模型构建
#improt依赖包
[python]  view plain  copy
  1. from gensim import utils  
  2. from gensim.models.doc2vec import LabeledSentence  
  3. from gensim.models import Doc2Vec  
[python]  view plain  copy
  1. import numpy  
[python]  view plain  copy
  1. from random import shuffle  
  2. from sklearn.linear_model import LogisticRegression  
  3. from sklearn.metrics import confusion_matrix  
  4. import sklearn.metrics as metrics  

#Doc2vec需要以LabeledLineSentece对象作为输入，所以需要构建一个类将文本转化为LabeledLineStentece对象。
[python]  view plain  copy
  1. class LabeledLineSentence(object):  
  2.     def __init__(self, sources):  
  3.         self.sources = sources  
  4.   
  5.         flipped = {}  
  6.   
  7.         # make sure that keys are unique  
  8.         for key, value in sources.items():  
  9.             if value not in flipped:  
  10.                 flipped[value] = [key]  
  11.             else:  
  12.                 raise Exception('Non-unique prefix encountered')  
  13.   
  14.     def __iter__(self):  
  15.         for source, prefix in self.sources.items():  
  16.             with utils.smart_open(source) as fin:  
  17.                 for item_no, line in enumerate(fin):  
  18.                     yield LabeledSentence(utils.to_unicode(line).split(), [prefix + '_%s' % item_no])  
  19.   
  20.     def to_array(self):  
  21.         self.sentences = []  
  22.         for source, prefix in self.sources.items():  
  23.             with utils.smart_open(source) as fin:  
  24.                 for item_no, line in enumerate(fin):  
  25.                     self.sentences.append(LabeledSentence(utils.to_unicode(line).split(), [prefix + '_%s' % item_no]))  
  26.         return self.sentences  
  27.   
  28.     def sentences_perm(self):  
  29.         shuffle(self.sentences)  
  30.         return self.sentences  

#将文本数据以以下方式导入到Doc2vec中
[python]  view plain  copy
  1. sources = { '/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/neg_train.txt':'TRAIN_NEG', '/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/pos_train.txt':'TRAIN_POS','/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/uns_train.txt':'TRAIN_UNS','/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/uns_test.txt':'TEST_UNS'}  
[python]  view plain  copy
  1. sentences = LabeledLineSentence(sources)  

#构建Doc2vec模型
[python]  view plain  copy
  1. model = Doc2Vec(min_count=1, window=15, size=100, sample=1e-4, negative=5, workers=8)  
  2. model.build_vocab(sentences.to_array())  

#训练Doc2vec模型（本例迭代次数为10，如果时间允许，可以迭代更多的次数）
[python]  view plain  copy
  1. for epoch in range(10):  
  2.     model.train(sentences.sentences_perm())  

#将训练好的句子向量装进array里面，后文作为分类器的输入
[python]  view plain  copy
  1. train_arrays = numpy.zeros((18293, 100))  
  2. train_labels = numpy.zeros(18293)  
  3. test_arrays = []  
  4. true_labels=[]  
  5. train_data=[]  
  6. train_lb=[]  
  7. for i in range(18293):  
  8.     if(i<=12988):  
  9.         prefix_train_neg = 'TRAIN_NEG_' + str(i)  
  10.         train_arrays[i] = model.docvecs[prefix_train_neg]  
  11.         train_labels[i] = 0  
  12.     if(i>12988 and i<=18292):  
  13.         j=i-12989  
  14.         prefix_train_pos = 'TRAIN_POS_' + str(j)  
  15.         train_arrays[i]=model.docvecs[prefix_train_pos]  
  16.         train_labels[i]=1  

#载入测试集数据
[python]  view plain  copy
  1. a=open("/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/pos_test.txt")  
  2. b=open("/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/neg_test.txt")  
  3. test_content1=a.readlines()  
  4. test_content2=b.readlines()  
  5. for i in test_content1:  
  6.     test_arrays.append(model.infer_vector(i))  
  7.     true_labels.append(1)  
  8. for i in test_content2:  
  9.     test_arrays.append(model.infer_vector(i))  
  10.     true_labels.append(0)  

#构建逻辑回归分类器

[python]  view plain  copy
  1. classifier = LogisticRegression(class_weight={0:0.38,1:0.62})  
  2. classifier.fit(train_arrays, train_labels)  

#构建随机森林分类器
[python]  view plain  copy
  1. from sklearn.ensemble import RandomForestClassifier  
  2. RF = RandomForestClassifier(n_estimators=1200,max_depth=14,class_weight={0:0.3,1:0.7})  
  3. RF.fit(train_arrays, train_labels)  

#构建GBDT分类器
[python]  view plain  copy
  1. from sklearn.ensemble import GradientBoostingClassifier  
  2. GBDT = GradientBoostingClassifier(n_estimators=1000,max_depth=14)  
  3. GBDT.fit(train_arrays, train_labels)  

#对Test数据进行预测
[python]  view plain  copy
  1. test_labels_LR=[]  
  2. test_labels_RF=[]  
  3. test_labels_GBDT=[]  
  4. for i in range(len(test_arrays)):  
  5.     test_labels_LR.append(classifier.predict(test_arrays[i]))  
  6.     test_labels_RF.append(RF.predict(test_arrays[i]))  
  7.     test_labels_GBDT.append(GBDT.predict(test_arrays[i]))  

#打印各个模型的准确率和召回率
[python]  view plain  copy
  1. print("LR:")  
  2. print(classifier.score(test_labels_LR, true_labels))  
  3. print(confusion_matrix(test_labels_LR,true_labels))  
  4. print("RF:")  
  5. print(metrics.accuracy_score(test_labels_RF,true_labels))  
  6. print(confusion_matrix(test_labels_RF,true_labels))  
  7. print("GBDT:")  
  8. print(metrics.accuracy_score(test_labels_GBDT,true_labels))  
  9. print(confusion_matrix(test_labels_GBDT,true_labels))  


总结
以上对用Doc2vec进行情感分析做了一次有效的尝试。在工作过程中发现，不同的分类器对模型的精度有不同的表现，事实上现时各个分类器算法都有相应封装包，而且效率也非常高，所以在分类器的选择上并不能体现优势，可能几个不同模型之间的准确率也就相差几个百分点。相反，有效的语料库和干净的文本数据是情感分析模型的保证，所以在进行情感分析之前，必须要预先处理好文本数据，方能得到有效的模型。 
CopperDong
关注
专栏目录
情感分析--word2vec
dongzixian的博客
12-10 400
分词–list of list格式 （df2的来源请看上一篇博客https://blog.csdn.net/dongzixian/article/details/103474094） import jieba df2['cut'] = df2[0].apply(jieba.lcut) df2.head() from sklearn.model_selection import train_te...
中文自然语言处理入门实战
热门推荐
GitChat
07-03 5万+
课程介绍 NLP 作为 AI 技术领域中重要的分支，随着其技术应用范围不断扩大，在数据处理领域占有越来越重要的地位。本达人课，作为中文自然语言处理边学边实战的入门级教程，以小数据量的“简易版”实例，通过实战带大家快速掌握 NLP 在中文方面开发的基本能力。 本课程共包含 18 节。各小节之间并没有紧密耦合，但是整个内容还是遵循一定的开发流程。 比如，按照中文语料处理的过程，在获取到语料之后开始分词...
java实现Word2Vec计算语义相似度例子，详细注释，AI入门学习，附源码，预训练文件
最新发布
大龄码农，啥都分享~
08-11 573
java实现Word2Vec预训练字符串相似度例子，详细注释，附工程源码
tensorflow在文本处理中的使用——Doc2Vec情感分析
weixin_30469895的博客
05-20 160
代码来源于：tensorflow机器学习实战指南（曾益强 译，2017年9月）——第七章：自然语言处理 代码地址：https://github.com/nfmcclure/tensorflow-cookbook 数据：http://www.cs.cornell.edu/people/pabo/movie-review-data/rt-polaritydata.tar.gz 在word2vec...
Word2vec之情感语义分析实战（part2）
分享人工智能学习心得与实践经验，探讨应用场景，见证变革与进步
12-15 7153
引言这一部分的内容主要是衔接前面分享的一篇文章：Word2vec之情感语义分析实战（part1）做进一步深入探讨。在本次文章中，我们将把重心放在使用Word2Vec算法创建的词向量表达上去。Word2vec是由谷歌在2013年发布的，是一种学习分布式语言表示的神经网络实现。在此之前，已经提出了其他深度或递归的神经网络体系结构来学习单词表示，但是这些模型的主要问题是需要很长时间来训练模型。与其他模型相
word2vec情感分析实例
08-01
python平台情感分析实例，使用gensim中的doc2vec实现，可用于新版gensim。
gensim-3.7.0-cp27-cp27m-win32.whl.zip
03-15
gensim中的`gensim.models.Word2Vec`类可以实现这一功能，它有两种训练模式——CBOW（Continuous Bag of Words）和Skip-gram。 - Doc2Vec：是对Word2Vec的扩展，它不仅可以为单个词生成向量，还能为整个文档生成...
推荐系统Lambda架构算法（八）：基于内容的电影推荐——物品画像、基于TF-IDF的特征提取技术
汪雯琦的博客
03-08 2386
文章目录基于内容的电影推荐：物品画像基于TF-IDF的特征提取技术算法原理算法举例加载数据集基于TF·IDF提取TOP-N关键词，构建电影画像完善画像关键词 基于内容的电影推荐：物品画像 物品画像构建步骤： 利用tags.csv中每部电影的标签作为电影的候选关键词 利用TF·IDF计算每部电影的标签的tfidf值，选取TOP-N个关键词作为电影画像标签 将电影的分类词直接作为每部电影的画像标签 ...
gensim-3.5.0-cp27-cp27m-manylinux1_i686.whl.zip
03-15
1. **词向量（Word Vectors）**：gensim支持多种词向量模型，如Word2Vec、FastText和Doc2Vec。这些模型能够将词语转化为高维向量，捕捉词汇之间的语义关系。 2. **TF-IDF和LSA/LDA**：gensim提供了计算TF-IDF值和...
LDA主题模型三连击-入门/理论/代码
gg_gogoing的专栏
12-10 1159
本文将从三个方面介绍LDA主题模型——整体概况、数学推导、动手实现。 关于LDA的文章网上已经有很多了，大多都是从经典的《LDA 数学八卦》中引出来的，原创性不太多。 本文将用尽量少的公式，跳过不需要的证明，将最核心需要学习的部分与大家分享，展示出直观的理解和基本的数学思想，避免数学八卦中过于详细的推导。最后用python 进行实现。 概况第一部分，包括以下四部分。 为什么需要 LDA是
python+Word2Vec实现情感分析完整项目
07-29
python实现了情感分析的完整项目，包含训练样本，训练好的模型，完整代码。python实现了情感分析的完整项目，包含训练样本，训练好的模型，完整代码。python实现了情感分析的完整项目，包含训练样本，训练好的模型，完整代码。python实现了情感分析的完整项目，包含训练样本，训练好的模型，完整代码。python实现了情感分析的完整项目，包含训练样本，训练好的模型，完整代码。
基于文本筛选和改进BERT的长文本方面级情感分析
06-23
情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中，由于长文本存在一定冗余性和噪声大的问题，导致现有的方面级情感分析方法对于长文本中方面相关信息的特征提取不够充分，分类不精准；在方面分层为粗粒度和细粒度方面的数据集上，现有的解决方法没有利用粗粒度方面中的信息。针对以上问题，提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络（LSTM）和注意力机制相结合的文本筛选网络（TFN）从长文本中直接筛选出与粗粒度方面相关的部分语句，然后将部分语句按次序进行组合，并结合细粒度方面输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取，最后使用Softmax进行情感分类。通过与GCAE(Gated Convolutional Network with Aspect Embedding）、IAN（Interactive Attention Network）等经典模型相比，该算法在验证集上的相关评价指标分别提高了3. 66%和4. 59%；与原始BERT模型相比提高了0. 58%。
利用 Doc2Vec 对 Quora 问题标签聚类
qianfeng_dashuju的博客
10-11 296
　　引言 　　Quora是一个流行的知识分享平台，我常常在Quora上分享我的想法。这个平台是基于问答的形式，它因其简易的设计和平滑的用户体验而出名。 　　当新的问题被添加到Quora时，这些问题由机器人自动基于问题的上下文进行标记并稍后由用户进行编辑。这些标签反映了问题被归入的话题类别。如下是一个问题的基本概貌。 　　最近我在寻找合适的数据集，然后我偶然看到了Quora里的一个这个页面:P...
文档相似度之doc2vec、文档聚类
IT之一小佬的博客
04-13 774
文档相似度之doc2vec、文档聚类 示例代码： import jieba import pandas as pd from gensim import corpora, models from gensim.models.ldamodel import LdaModel from gensim import similarities from gensim.models import doc2vec, Doc2Vec raw = pd.read_table('./金庸-射雕英雄传txt精校
基于doc2vec的中文文本聚类及去重
如锡如璧
12-24 6701
Understand doc2vec Data introduction Train a model Test the model Cluster all the lyrics Filter out the duplicates 1. Understand doc2vec [1] doc2vec是基于word2vec演化而来，其本质是要学出文档的一个表示，模型由谷歌科学家Quoc Le 和 T...
doc2vec原理及实践
JohnSon
01-30 2万+
1.“句向量”简介 word2vec提供了高质量的词向量，并在一些任务中表现良好。 关于word2vec的原理可以参考这几篇论文： https://arxiv.org/pdf/1310.4546.pdf https://arxiv.org/pdf/1301.3781.pdf 关于如何使用第三方库gensim训练word2vec可以参考这篇博客： http://blog.csdn.n
NLP ——Doc2vec
sinat_28375239的博客
09-30 427
NLP ——Doc2vec 即使利用word2vec对词向量进行平均处理，我们仍然忽略了单词之间的排列顺序对情感分析的影响。即上述的word2vec只是基于词的维度进行”语义分析”的，而并不具有上下文的”语义分析”能力。在一个句子或者文档的训练过程中，段落 ID 保持不变，共享着同一个段落向量。 在word2vec的基础上添加一个段落向量。训练单词向量W时，也训练段落向量D，并且在训练结束时，它包含了段落的向量化表示。虽然单词向量表示单词的概念，但段落向量旨在表示段落的概念。 PV-DM 训练
【doc2vec】学习笔记：From word2vec to doc2vec: an approach driven by Chinese restaurant process
xceman1997的专栏
05-30 5586
主要内容： 在google word2vec的基础上，考虑文章（document）的向量化方法，借鉴了随机过程中的Chinese restaurant process过程。 Chinese restaurant process过程： 基本上的过程就是，餐馆中有无限多个桌子，每个桌子可以坐无限多个人。当第一位顾客过来的时候，直接开辟一张桌子坐下；当第n+1位顾客过来的时候，他有
doc2vec技术解析：超越bag-of-words的文本表示方法
因此，doc2vec在自然语言处理任务中，如问答系统、情感分析、信息检索等领域，都有广泛的应用。此外，doc2vec的向量表示还可以用于计算两个文本之间的相似度，这对于推荐系统、文本聚类等任务也是十分有价值的。 ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值