情感分析利器——Doc2vec

情感分析是自然语言处理（NLP）中的常见的方法应用，是文本分析的一种。所谓文本分析指的是从文字来源中推导出知识和洞见的过程。而情感分析则进一步从文字中自动识别出人们对特定主题的主观看法、情绪以及态度等等资讯。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或者检测在线评论中的差评信息。

          比较简单的情感分析方法利用词语的正负属性来判断句子的情感倾向。句子中的每一个单次都有一个正负得分，乐观的单词为+1，悲观的单词为-1。然后对句子中所有单词的得分进行加总，最后得出句子的情感分值。然而，这种方法存在许多的局限之处，它忽视了句子中上下文的联系。

          另一种方法是将文本视为一个“词袋”。将每一个文本看做是一个1 X N维的向量，其中N表示文本词汇的数量。向量中，每一列代表一个单词，其值为该单词在句子中出现的频数。在获得向量后，可以利用机器学习的分类算法，预测句子的情感倾向。虽然这个方法改进了之前的模型，但仍然忽略了上下文关系以及数据量级情况。

          今天主要介绍一种新的情感分析方法，利用Doc2vec进行情感分析。Doc2vec是基于Word2vec的基础上发展而来的方法，它可以将一段句子表征为实数值向量。具体可参考 Tomas的Distributed Representations of Sentences and Documents论文。说到word2vec， 是 Google 在 2013 年年中开源的一款将词表征为实数值向量的高效工具, 其利用深度学习的思想，可以通过训练，把对文本内容的处理简化为 K 维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。在获得词向量后，对词向量进行平均处理，最终获取到句子向量。然后，利用机器学习的分类算法预测句子的情感倾向。这种方法在微博等短文上的应用效果十分不错，这是因为微博通常只有十几个单词，所以即使经过平均化处理仍能保持相关的特性。一旦我们开始分析段落数据时，如果忽略上下文和单词顺序的信息，那么我们将会丢掉许多重要的信息。对于分析长篇评论，更好的方法是采用Doc2vec来创建输入信息。最近，正好接到一个需要对长文本进行情感分析的工作，便利用Doc2vec进行操作。在此，与大家分享一下我是如何利用Doc2vec对长文本进行情感分析的。

1.数据准备

     本次使用的数据集包含12000+悲观的社交文本，6000+乐观的社交文本，还有12000+的无标注社交文本，共40000+条数据。

2.依赖包下载

     在python中，可以利用gensim库进行Doc2vec模型构建。在进行情感分析前，需要将gensim的依赖包安装好。

3.模型构建

#improt依赖包

[python]  view plain  copy

1. from gensim import utils  
2. from gensim.models.doc2vec import LabeledSentence  
3. from gensim.models import Doc2Vec  

[python]  view plain  copy

1. import numpy  

[python]  view plain  copy

1. from random import shuffle  
2. from sklearn.linear_model import LogisticRegression  
3. from sklearn.metrics import confusion_matrix  
4. import sklearn.metrics as metrics  

#Doc2vec需要以LabeledLineSentece对象作为输入，所以需要构建一个类将文本转化为LabeledLineStentece对象。

[python]  view plain  copy

1. class LabeledLineSentence(object):  
2.     def __init__(self, sources):  
3.         self.sources = sources  
4.   
5.         flipped = {}  
6.   
7.         # make sure that keys are unique  
8.         for key, value in sources.items():  
9.             if value not in flipped:  
10.                 flipped[value] = [key]  
11.             else:  
12.                 raise Exception('Non-unique prefix encountered')  
13.   
14.     def __iter__(self):  
15.         for source, prefix in self.sources.items():  
16.             with utils.smart_open(source) as fin:  
17.                 for item_no, line in enumerate(fin):  
18.                     yield LabeledSentence(utils.to_unicode(line).split(), [prefix + '_%s' % item_no])  
19.   
20.     def to_array(self):  
21.         self.sentences = []  
22.         for source, prefix in self.sources.items():  
23.             with utils.smart_open(source) as fin:  
24.                 for item_no, line in enumerate(fin):  
25.                     self.sentences.append(LabeledSentence(utils.to_unicode(line).split(), [prefix + '_%s' % item_no]))  
26.         return self.sentences  
27.   
28.     def sentences_perm(self):  
29.         shuffle(self.sentences)  
30.         return self.sentences  

#将文本数据以以下方式导入到Doc2vec中

[python]  view plain  copy

1. sources = { '/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/neg_train.txt':'TRAIN_NEG', '/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/pos_train.txt':'TRAIN_POS','/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/uns_train.txt':'TRAIN_UNS','/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/uns_test.txt':'TEST_UNS'}  

[python]  view plain  copy

1. sentences = LabeledLineSentence(sources)  

#构建Doc2vec模型

[python]  view plain  copy

1. model = Doc2Vec(min_count=1, window=15, size=100, sample=1e-4, negative=5, workers=8)  
2. model.build_vocab(sentences.to_array())  

#训练Doc2vec模型（本例迭代次数为10，如果时间允许，可以迭代更多的次数）

[python]  view plain  copy

1. for epoch in range(10):  
2.     model.train(sentences.sentences_perm())  

#将训练好的句子向量装进array里面，后文作为分类器的输入

[python]  view plain  copy

1. train_arrays = numpy.zeros((18293, 100))  
2. train_labels = numpy.zeros(18293)  
3. test_arrays = []  
4. true_labels=[]  
5. train_data=[]  
6. train_lb=[]  
7. for i in range(18293):  
8.     if(i<=12988):  
9.         prefix_train_neg = 'TRAIN_NEG_' + str(i)  
10.         train_arrays[i] = model.docvecs[prefix_train_neg]  
11.         train_labels[i] = 0  
12.     if(i>12988 and i<=18292):  
13.         j=i-12989  
14.         prefix_train_pos = 'TRAIN_POS_' + str(j)  
15.         train_arrays[i]=model.docvecs[prefix_train_pos]  
16.         train_labels[i]=1  

#载入测试集数据

[python]  view plain  copy

1. a=open("/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/pos_test.txt")  
2. b=open("/Volumes/Macintosh HD/Users/RayChou/Downloads/情感分析训练语料/neg_test.txt")  
3. test_content1=a.readlines()  
4. test_content2=b.readlines()  
5. for i in test_content1:  
6.     test_arrays.append(model.infer_vector(i))  
7.     true_labels.append(1)  
8. for i in test_content2:  
9.     test_arrays.append(model.infer_vector(i))  
10.     true_labels.append(0)  

#构建逻辑回归分类器

[python]  view plain  copy

1. classifier = LogisticRegression(class_weight={0:0.38,1:0.62})  
2. classifier.fit(train_arrays, train_labels)  

#构建随机森林分类器

[python]  view plain  copy

1. from sklearn.ensemble import RandomForestClassifier  
2. RF = RandomForestClassifier(n_estimators=1200,max_depth=14,class_weight={0:0.3,1:0.7})  
3. RF.fit(train_arrays, train_labels)  

#构建GBDT分类器

[python]  view plain  copy

1. from sklearn.ensemble import GradientBoostingClassifier  
2. GBDT = GradientBoostingClassifier(n_estimators=1000,max_depth=14)  
3. GBDT.fit(train_arrays, train_labels)  

#对Test数据进行预测

[python]  view plain  copy

1. test_labels_LR=[]  
2. test_labels_RF=[]  
3. test_labels_GBDT=[]  
4. for i in range(len(test_arrays)):  
5.     test_labels_LR.append(classifier.predict(test_arrays[i]))  
6.     test_labels_RF.append(RF.predict(test_arrays[i]))  
7.     test_labels_GBDT.append(GBDT.predict(test_arrays[i]))  

#打印各个模型的准确率和召回率

[python]  view plain  copy

1. print("LR:")  
2. print(classifier.score(test_labels_LR, true_labels))  
3. print(confusion_matrix(test_labels_LR,true_labels))  
4. print("RF:")  
5. print(metrics.accuracy_score(test_labels_RF,true_labels))  
6. print(confusion_matrix(test_labels_RF,true_labels))  
7. print("GBDT:")  
8. print(metrics.accuracy_score(test_labels_GBDT,true_labels))  
9. print(confusion_matrix(test_labels_GBDT,true_labels))  

总结

以上对用Doc2vec进行情感分析做了一次有效的尝试。在工作过程中发现，不同的分类器对模型的精度有不同的表现，事实上现时各个分类器算法都有相应封装包，而且效率也非常高，所以在分类器的选择上并不能体现优势，可能几个不同模型之间的准确率也就相差几个百分点。相反，有效的语料库和干净的文本数据是情感分析模型的保证，所以在进行情感分析之前，必须要预先处理好文本数据，方能得到有效的模型。