【论文阅读】Joint Aspect and Polarity Classification for Aspect-based Sentiment Analysis with End-to-End

Joint Aspect and Polarity Classification for Aspect-based Sentiment Analysis with End-to-End Neural Networks

简单来说

这篇文章是将检测category和判断category情感极性处理为一个任务，用端到端的训练一起进行。将常用的Bi-LSTM换成CNN，并实验了多个word embedding方法。主要是在最后softmax分类时添加了一种情况即N/A，也就是category不存在，存在的话输出情感极性，这样就可以端到端一个模型完成两个任务

摘要

本文提出一个新的模型，将检测aspect和对aspect的情感分类联合建模成一个端到端的神经网络模型。
实验数据是GermEval2017，用了不同的神经网络和词嵌入方法来实验，最终效果很好。

introduction

方面级情感分析相对普通情感分析有新的挑战。
首先，labeled data很难得到，因此数据很少。这样好的ABSA模型往往需要最大程度的利用可用的数据。第二，检测给定的文本里的出现了哪些aspects本身就是不容易的，而这个过程要是引入了错误很严重限制整个ABSA任务的性能。第三，句子整体的情感和每个aspect的情感极性可能彼此很不同。
本文解决这些挑战的方法是：通过建模单词表示来利用无标签的数据；用一个端到端的可训练系统联合建模aspect检测及其情感分类。
用的实验数据是GermEval,约有2万训练数据和20种aspect category

Proposed model

词嵌入

Word2vec的skip-gram用的范围很广；Fast text能更好的利用subword，对于形式相近的单词建模的距离较近，还可以通过组合已有的ngram词嵌入为没见过的单词生成表示，比较适合德语这种语言。Glove和word2vec比较像，是不包含字母级别的信息的，但是用的是全局信息来学习单词表示。
在大约113Ktweets上训练了着三种词嵌入表示。这些tweets和GermEval的领域比较接近。在训练词嵌入时也加入了GermEval 训练集。

Pipeline LSTM 也就是baseline

一个句子的单词先都取词嵌入向量，然后过bi-LSTM，然后输出再拼接这个句子出现的aspect的词嵌入，最后再过一个document-level BiLSTM。其中aspect是提供的。

end-to-end LSTM

在Pipeline基础上做修改以实现aspect检测。是通过改变分类器的输出格式来实现的，每个输出向量v是20*4维的，20表示数据集种20个aspect category，4表示每个aspect可能的4种情况：N/A,positive,negative,neutral，还加了dropout:

其中embd包括word2vec,glove和fasttext三种方式，DO表示dropout。

然后把v过softmax得到对每个aspect category的得分，选最大的，就同时得到了这个句子的aspect极其极性：

Loss function是每个aspect的交叉熵的和。

end-to-end CNN

还是上面那个模型，只不过把最初的Bi-LSTM换成CNN，也就是公式1换成下面这个公式7：

最大池化层，filter size 3,4,5，激活函数用Relu
模型如图：

pipelineCNN

为了做对比，还有把第一个pipeline中的BiLSTM换成CNN的一个模型。

实验

在GermEval2017数据集上，是收集了一年的数据，人工标记的，主要数据集是26K，分成train dev和test三部分。根据dev数据集确定超参数。一开始初始化，然后对表现最好的CNN+fast text endtoend在random search参数。

discussion

表1展示了实验结果，大多数baseline气势已经能有好结果是，这是因为数据不太均衡，aspect "allgemein"占61.5%。

实验结果表明用fasttext的词嵌入更适合这里。
表2是aspect category的识别结果。

另外词嵌入是否是领域相关的训练影响并不少特别大。

Conclusion

提出一种新方法，同时解决aspect category提取和情感分类，在GermEval2017上效果很好。