基于深度学习的文本情感倾向分析（综述）

一. 技术概述：

        文本情感分析(Sentiment Analysis)是指利用自然语言处理和文本挖掘技术，对带有情感色彩的主观性文本进行分析、处理和抽取的过程［1］。目前，文本情感分析研究涵盖了包括自然语言处理、文本挖掘、信息检索、信息抽取、机器学习和本体学等多个领域，得到了许多学者以及研究机构的关注，近几年持续成为自然语言处理和文本挖掘领域研究的热点问题之一。情感分析任务按其分析的粒度可以分为篇章级，句子级，词或短语级;按其处理文本的类别可分为基于产品评论的情感分析和基于新闻评论的情感分析;按其研究的任务类型，可分为情感分类，情感检索和情感抽取等子问题。

        短文本情感倾向分析是自然语言处理领域的关键研究问题之一。情感倾向分析是用于检测语言所蕴含主观倾向语义的一系列方法、技术和工具，是对文本深层语义理解的关键。短文本数据的随意性、高歧义性以及简短性使得传统基于特征工程和机器学习分类技术的情感倾向分析任务性能有限。随着深度学习技术在自然语言处理中的广泛应用，基于深度学习的短文本情感倾向分析模型取得了新的突破。

主要参考：基于深度学习的短文本情感倾向分析综述-汤凌燕

                  文本情感分析研究综述-马力

二.技术路径

        基于深度学习的短文本情感倾向分析一般流程 可分为五阶段：文本预处理、初始词向量表示、特征提取与上下文语义表示、深度学习模型训练与测试、实验结果分析与评估。

1.词向量

        基于深度学习思想解决自然语言处理任务时， 需将文本结构化和数字化，表示成词向量，方便计算机处理。早期基于词袋模型的词向量表示是高维度、 高稀疏的，其特征表达能力很弱，不利于特征提取。 基于词嵌入（word embedding）的分布式表示方式的提出，使得深度学习方法用于短文本情感倾向 分析成为可能。词嵌入技术通过对大量语料的学习，将短文本映射成低维实向量。词向量再输入深 度神经网络中，自动提取上下文特征，得到的最终文本表示用于情感倾向分析。词嵌入技术仍在不断发展，一些用于度量词与词间相似性的预训练语言模型被提出

2013 年提出了 Word2Vec ， 2014 年提出了 GloVe ， 2016 年提出了 OpenAI GPT ， 2018 年提 出了 ELMo （ embeddings from language models ）和BERT（bidirectional encoder representation from transformers）2019年提出了基于 Transformers [18] 架构的 Transformer-XL[19]和 XLNet [20] 。常用于短文本情感倾 向分析的预训练模型包括Word2Vec 、 GloVe 和 BERT 。

  

2.深度学习模型组件

        常用于短文本情感倾向分析的深度学习模型组 件包括 ：长 短 时 记 忆 网 络（long- short term memory network，LSTM）、卷积神经网络（convolutional neural network，CNN）、记忆网络（memory network，MN）、胶 囊网络（capsule networks，CapsNets）、图卷积神经网络（graph convolutional network，GCN）以及注意力机 制（attention mechanism）。

        长短时记忆网络常用于捕获短文本全局语义； 卷积神经网络的卷积、池化操作用于提取短文本局 部特征；记忆网络通过增加额外的存储单元，能更好 地解决长时记忆问题；胶囊网络以动态路由方式学习词间语义关系，减少信息丢失；借助图卷积神经网 络可将短文本中的特征信息和结构信息进行融合；结合注意力机制主要为解决深度神经网络对短文本中关键语义不敏感问题。

3.基于语义的情感词典方法

(1) 构建词典

        情感词典的构建是情感分类的前提和基础，目前在实际使用中，可将其归为 4 类:通用情感词、程度副词、否定词、领域词。目前国内外，情感词典的构建方法主要是利用已有电子词典扩展生成情感词典。英文方面主要是基于对英文词典 的Word  Net 的扩充，Hu 和 Liu［4］在已手工建立种子形容词词汇表的基础上，利用 World Net 中词间的同义和近义关系判断情感词的情感倾向，并以此来判断观点的情感极性。中文方面则主要是对知网 How net 的扩充，朱嫣岚［5］利用语义相似度计算方法计算词语与基准情感词集的语义相似度，以此推断该词语的情感倾向。此外，还可以建立专门的领域词典，以提高情感分类的准确性。

(2)构建倾向性计算算法

        基于语义的情感词典的倾向性计算不同于所需大量训练数据集的机器学习算法，主要是利用情感词典及句式词库分析文本语句的特殊结构及情感倾向词，采用权值算法代替传统人工判别或仅利用简单统计的方法进行情感分类。给情感强度不同的情感词赋予不同权值，然后进行加权求和。文献［6］利用加权平均算法式(1)计算，可有效提高通用领域情感分类的效率和准确率。

        其中，分别代表表达正面情感和负面情感的词汇数目；分别代表正面情感词汇和负面情感词汇的权值。

(3)确定阈值来判断文本倾向性

        一般情况下，加权计算结果为正是正面倾向，结果为负是负面倾向 ,得分为零无倾向。所得结果评价一般采用自然语言中经常使用的正确率、召回率和 F 值来评判算法效果。基于情感词典的方法和基于机器学习的分类算法相比，虽属于粗粒度的倾向性分类方法，但由于不依赖标注好的训练集，实现相对简单，对于普遍通用领域的网络文本可有效快速地进行情感分类。

4.基于机器学习的情感分类方法

        文本情感倾向性分析与传统的基于主题的文本分类相似但有所不同，基于主题的文本分类是把文本分类到各个预定义的主题上，如军事，互联网，政治，体育等，而情感分类不是基于内容本身的，而是按照文本持有的情感、态度进行判断。现有任何机器学习的分类方法都可以用到情感分类中来。基于机器学习的情感分类，其大致流程如下:首先人工标注文本倾向性作为训练集，提取文本情感特征，通过机器学习的方法构造情感分类器，待分类的文本通过分类器进行倾向性分类。常用的情感分类特征包括情感词，词性，句法结构，否定表达模板，连接，语义话题等［7］，研究者通过挖掘各种不同的特征以期望提高情感分类的能。常用的特征提取方法有信息增益( Information Gain，IG),CHI 统计量( Chi － square，CHI) 和文档频率( Document Frequency，DF) 等。常用的分类方法有中心向量分类方法、K － 近邻(K － Nearest － Neighbor，KNN) 分类方法、贝叶斯分类器、支持向量机、条件随机场、最大熵分类器等。
        最早从事情感分析研究的 Pang 等人［8］使用词袋(Bag － of － Feature) 框架选定文本的 N 元语法( N －Gram) 和词性( POS) 等作为情感 uo 特征，使用有监督的机器学习的方法将电影评论分为正向和负向两类，分别使用朴素贝叶斯，最大熵模型和支持向量机作为有监督学习算法的分类器。结果显示支持向量机在几种分类方法中效果最好，分类准确率达到 80% 。文本情感分类的准确率难以达到普通文本分类的水平，主要是情感文本中复杂的情感表达和大量的情感歧义造成的。在基于机器学习的情感分类算法中，每篇文章被转换成一个对应的特征向量来表示。特征选择的好坏将直接影响情感分析任务的性能。在 Pang 等人的研究基础上，后续研究主要是把情感分类作为一个特征优化任务［9－ 11］。随着语义特征信息的加入和训练语料库的发展，基于机器学习的分类将会有广阔的发展前景。

5.情感检索

        情感检索是从海量文本中查询到观点信息，根据主题相关度和观点倾向性对结果排序。情感检索返回的结果要同时满足主题相关和带有情感倾向或指定的情感倾向，是比情感分类更为复杂的任务。主题相关度和观点倾向性对结果排序，随着人们网络检索需求的增高，在传统搜索中加入情感倾向成了搜索技术中一个新的研究热点。和传统的互联网搜索相似，情感检索有两个主要任务:(1) 检索和查询相关的文档或句子。(2)对检索的相关文档或句子进行排序。与传统搜索不同的是互联网搜索的任务只要求找到和查询相关的文档和句子，而情感检索还要确定文档和句子是否表达了观点，以及观点是正面的或是负面的。目前情感检索主要实现方法有两种:一是按传统信息检索模型进行主题相关的文档检索，对检索结果进行情感分类;另一种是同时计算主题相关值和情感倾向值进行检索。第一种方法一般使用传统的检索模型以及较为成熟的查询扩展技术，然后用情感分类方法进行倾向性计算。文献［12 ～ 13］给出的情感检索系统是国际文本检索会议 TＲEC(Text Ｒetrieval Evaluation Conference)博客观点搜索任务的优胜者，该系统分为两部分检索部分和观点分类部分。检索部分完成传统的信息检索任务，同时在处理用户查询时将用户查询中的概念进行识别和消歧义，对于每个搜索查询进行同义词扩展，使用概念和关键字针对扩展后的查询对每个文档计算一个相似度，查询的关键字和文档的相关度是这两种相似度的综合。观点分类部分使用监督学习的方法使用两个分类器将文档分为两个类别带观点和不带观点的，带观点的文档再分为正面，负面或者混合的观点。第一个分类器训练数据是从评价网站包括 rateilt-
all. com 和 epinion. com 收集大量带观点的数据和从维基百科等客观性网站收集不带观点的训练数据。第二个分类器训练数据来自评论网站包含打分的评论，低的打分表明负面观点，高的打分表明正面观点。这里两种监督学习的分类器都采用支持向量机。在 TＲEC博客检索数据集研究的基础上，研究者采用不同的情感分类方法开展了后续研究［14 － 16］。

        上面的方法是将检索和情感分类独立计算的，实际中主题相关和情感匹配是有关联的，需要同时计算主题相关和情感匹配，这是因为不同的情感词在文档中对不同的查询词下可能有相反的情感倾向。第二种方法则是同时考虑主题相关和情感文档排序，选择排序策略时需要同时兼顾。很多学者［17 － 18］对排序策略进行了研究，一般是分别计算情感倾向值和查询相关度值，然后加权求和进行排序。Zhang 等人［19］提出一种融合文档情感得分和文档查询相关度得分的概率生成模型排序方法，取得了理想的效果。
情感信息检索是传统信息检索技术和情感分析技术的融合，如何更好的融合二者得到理想的情感检索结果是未来要重点关注的。

6 .情感抽取
 

        情感抽取是指抽取情感文本中有价值的情感信息，其要判断一个单词或词组在情感表达中扮演的角色，包括情感表达者识别，评价对象识别，情感观点词识别等任务。情感表达者识别又称观点持有者抽取，其是观点、评论的隶属者。在社交媒体和产品评论中，观点持有者通常是文本的作者或者评论员，其的登录账号是可见的，观点持有者抽取比较简单。而对于新闻文章和其他一些表达观点的任务或者组织显式的出现在文档时，观点持有者一般则是由机构名或人名组成，所以可采用命名实体识别方法进行抽取。Kim［20］等人借助语义角色标注来完成观点持有者的抽取。然而这些处理方法会导致较低的语言覆盖现象和较差的领域适应性，可以通过基于模式识别的信息抽取 ( Information Extraction) 和 机 器 学 习 ( Machine Learning )技 术 来解决［21］。评价对象和情感词抽取在情感分析中具有重要作用。利用评价对象和情感词的抽取，可以构建领域相关的主题词表和情感词表，情感词表的构建在情感分类部分已做阐述。评价对象是指某段评论中的主题，是评论文本中评价词语修饰的对象，现有的研究大多将评价对象限定在名词或名词短语的范畴内，一般使用基于模板和规则的方法抽取评价对象。规则的制定通常基于一系列的语言分析和预处理过程，命名实体识别，词性标注和句法分析等方法［22 － 25］都被用来进行评价对象抽取。文献［26］便是使用 3 条限制等级逐渐渐进的词性规则从评价对象集中抽取评价对象，取得了较好的结果。
情感抽取是情感分析的基础任务，通过对大量的情感文本分析，有价值的情感信息抽取对于情感分析的上层任务情感检索和情感分类有直接帮助，如何准确抽取情感信息一直都是研究者关注的重点。

 ［6］ 张昊旻，石博莹，刘栩宏． 基于权值算法的中文情感分析系统研究与实现［J］． 计算机应用研究，2012，29 (12):4571 － 4573．
［7］ 李方涛． 基于产品评论的情感分析研究［D］． 北京:清华大学，2011．
［8］PANG B，LEE L，VAITHYANATHAN S． Thumbs up:senti-ment classification using machine learning techniques ［C］．PA，USA:Proceedings of the ACL － 02 Conference on Empir-ical methods in natural language processing － Volume 10，Stroudsburg，Association for Computational Linguistics，2002:79 － 86．
［9］ MELVILLE P，GＲYC W，LAWＲENCE． Sentiment analysis ofblogs by combining lexical knowledge with text classification［C］． New York:Proceedings of SIGKDD，ACM，2009．
［10］ LI S，HUANG C，ZHOU G． Employing personal impersonal viewsin supervised and semisupervised sentiment classification［C］．New York:Proceedings of ACL，ACM，2010:414 －423．
［11］ KUMAＲ A，SEBASTIAN T M． Sentiment analysis on twitter［J］． International Journal of Computer Science Issues，2012，9(4):628 － 633．
［12］ ZHANG W，YU C，MENG W． Opinion retrieval from blogs［C］． Proceedings of the Sixteenth ACM Conference on Con-ference on Information and Knowledge Management，ACM，2007:831 － 840．
［13］ ZHANG W，JIA L，YU C，et al． Improve the effectiveness ofthe opinion retrieval and opinion polarity classification ［C］．MA USA:Proceedings of the 17th ACM Conference on Infor-mation and Knowledge Management，ACM，2008:1415 －1416．
［14］ BALAHUＲ A，BOLDＲINI E，MONTOYO A，et al． Opinionquestion answering:towards a unified approach ［C］． ECAI，
2010:511 － 516．
［15］ MOGHADDAM S，ESTEＲ M． AQA:aspect － based opinion question answering［C］． IEEE 11th International Conference on Data Mining Workshops，IEEE，2011:89 － 96．
［16］ OH J H，TOＲISAWA K，HASHIMOTO C，et al． Why ques-tion answering using sentiment analysis and word classes［C］． Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and ComputationalNatural Language Learning，Association for Computational Linguistics，2012:368 － 378．
［17］ GAＲCA － MOYA L，ANAYA － SNCHEZ H，BEＲLANGA －LLAVOＲI Ｒ． Combining probabilistic language models for as-pect － based sentiment retrieval ［M］． Berlin Heidelberg:Ad-vances in Information Ｒetrieval，Springer，2012:561 －564．
［18］ DIETZ L，WANG Z，HUSTON S，et al． Ｒetrieving opinionsfrom discussion forums ［C］． Proceedings of the 22nd ACMInternational Conference on Conference on Information ＆
Knowledge Management，ACM，2013:1225 － 1228．
［19］ ZHANG M，YE X． A generation model to unify topic rele-vance and lexicon － based sentiment for opinion retrieval［C］． New York，NY，USA:Proceedings of the 31st Annual
International ACM SIGIＲ Conference on Ｒesearch and De-velopment in Information Ｒetrieval，ACM，2008:411 － 418．
［20］ KIM S，HOVY E． Extracting opinions，opinion holders and topics expressed in onling news media text ［C］． Text:Pro-ceedings of the ACL Workshop on Sentiment and Subjectivi-
ty，2006:1 － 8．
［21］ CAＲSTENS L，TONI F． Enhancing sentiment extraction from text by means of arguments ［C］． Proceedings of the SecondInternational Workshop on Issues of Sentiment Discovery and Opinion Mining，ACM，2013:4．
［22］ BAO L，HANKS S J，MCALLISTEＲ I A，et al． Extraction andsummarization of sentiment information:U． S． Patent 7，792，841［P］． 2010 － 9 － 7．
［23］ CHEN W，ZONG L，HUANG W，et al． An empirical study of
massively parallel bayesian networks learning for sentimentextraction from unstructured text［M］． Berlin Heidelberg:Web Technologies and Applications，Springer，2011．
［24］ O'NEIL J． Entity sentiment extraction using text ranking［C］． Proceedings of the 35th International ACM SIGIＲ Con-ference on Ｒesearch and Development in Information Ｒetriev-al，ACM，2012:1024 － 1024．
［25］ YI J，NASUKAWA T，BUNESCU Ｒ． Sentiment analyzer:ex-tracting sentiments about a given topic using natural languageprocessing techniques［C］． Proceedings of the IEEE Interna-tional Conference on Data Mining (ICDM)，2013．
［26］ ＲOUTＲAY P，SWAIN C K，MISHＲA S P． A survey on senti-ment analysis ［J］． International Journal of Computer Appli-cations，2013(11):76 － 83．