《Exploiting BERT for End-to-End Aspect-based Sentiment Analysis》笔记

论文题目：Exploiting BERT for End-to-End Aspect-based Sentiment Analysis

文章主要是研究bert在端对端的ABSA序列标注任务中的作用，同时在使用Bert的基础上还实验了多个下游任务模型，值得注意的是得到的结果已经超出当时的 SOTA (可见bert的强大)，过程如下。

---

整个模型框架如上，输入序列 x = { x 1 , . . . , x T } x=\{x_1,...,x_T\} x={x1​,...,xT​}​​ 首先用bert来计算对应的上下文表示得到 H L = { h 1 L , . . . , h T L } H^L=\{h^L_1,...,h^L_T\} HL={h1L​,...,hTL​}​​ ,然后将其输入到E2E-ABSA layer去预测对应的标签序列 y = { y 1 , . . . , y T } y=\{y_1,...,y_T\} y={y1​,...,yT​}​​​​​ ,有以下标签：B-{POS,NEG,NEU},I-{POS,NEG,NEU},E-{POS,NEG,NEU}, S-{POS,NEG,NEU}，分别表示方面词的开始（B），方面词中间部分(i)，方面词结尾(e)，单字体的方面词即只有一个单词(s),以及对应的情感类型。

1. Bert

将token embedding, position embedding，segment embedding组合为 H 0 = { e 1 , . . . , e T } H^0=\{e_1,...,e_T\} H0={e1​,...,eT​}​ 作为bert的输入，​然后经过L层Transformer

将 $H^L$​​ 视为输入标记的上下文表示，并将其作为下游任务的输入

2. 下游模型

获得经过bert后的文本向量表示后，设计了一个E2E-ABSA层进行具体的end-to-end方面情感分析，其中研究了几种不同设计，包括线性层、RNN、自我注意网络和条件随机场层。

线形层

直接送入线性层预测单词 $x_t$的标签 $y_t$

RNN

这里使用的是GRU，公式如下

$r_t$ $z_t$ $n_t$​分别是重置门，更新门和新门，然后计算标签类别

自我注意网络和条件随机场层类似。实验结果如下

从表中可以看到引入一个简单BERT-Linear已经优于不使用BERT的现有工作

总结：文中研究了嵌入BERT组件在端到端基于方面的情绪分析（E2EABSA）任务中的有效性。在两个基准数据集上进行大量实验。结果证明了bert的良好效果。