【论文阅读】Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

这篇论文主要是通过用aspect构造辅助句子，将ABSA问题转成sentence-pair分类任务，模型就是用了bert，然后再sentihood和semeval2014 task4上都取得了很好的结果

简介

这篇文章的问题领域是TABSA：aspect对应着target，有一个情感极性。这个任务可以分成两步，第一是识别target关联的aspect（the first step is to determine the aspects associated with each target;）；第二是确定这个target的aspect的情感极性（the second step is to resolve the polarity of aspects to a given target）
直接把bert用于TABSA任务并没有显著的提升，文章认为这可能是预训练Bert模型的打开（使用）方式不对。
由于Bert既可以表示单个句子，也可以表示一对句子，所以想到将TABSA问题转化成句子对分类问题，然后微调bert模型。
文章探讨了几种构建辅助句子来转化TASBSA问题的方法。
文章总的贡献是两点：
1、将TABSA问题转化成句子对分类问题来解决
2、微调bert模型，在sentihood和semeval2014 task4上都取得了很好的结果

Methodology

任务描述

TABSA：
句子s:{w1, · · · , wm}
predefined targets:{t1…tk}来自句子s中的{wi1,…wik} 所有的target构成集合T
固定的aspect set A :{general, price, transit- location, safety}
polarity：{positive, negative, none}
问题： 对(target,aspect)对来判断极性，例子：

文章所指的ABSA问题，不包含(t,a)对，只考虑句子对aspect的极性，相当于同时学习semeval2014 task4的subtask3和subtask4

构建辅助句子

只以TABSA为例，考虑四种构建方式：

举例来说，考虑(location1,safety)这个（target,aspect）对儿
有QA和NLI两种构建方式，两种方式中各包括一个情感分类和一个yes/no分类
对(location1,safety)：

• QA-M : what do you think of the safety of location - 1 ?
• NLI-M:location - 1 - safety
• QA-B: the polarity of the aspect safety of location - 1 is positive/negative/none
• NLI-B: location - 1 - safety - negative/positive/none

fine-turning pretrained bert

把first token 的hidden state作为输入（H维），过一个全连接（$W\in {\mathbb{R}}^{K\ast H}$),K 是要分类的类别数，最后过softmax得到概率

Bert-singe:
对TABSA——nt个target，na个aspect，把这个任务堪称nt*na的target-aspect分类任务，然后求和
对ABSA na个aspect的分类任务

Bert-pair： 上述四种构建辅助句子的方法各自是一个句子对分类任务

实验

sentihood包含(t,a)对，直接用来训练
semeval只有aspect，需要一起进行subtask3和4

讨论

为什么bert-pair效果好
一方面构造辅助句子直接指数级别的扩充了数据集；另一方面,bert很适合处理句子对分类任务。构造辅助句充分利用了预训练的bert模型

结论

构造辅助句子将TABSA问题转化成句子对分类问题，这是这篇文章最重要的点。