第一遍
标题及作者
摘要
- 基于语法依赖树的图卷积神经网络已经研究于ABSA领域,但是效果不太好。
- 因此,本文将语法依赖树和自动生成的特定类型图联系起来;文本提出一种门控机制,动态地组合词依赖图和自注意力网络学习的潜在图的信息。
- 本文模型可以补充潜在的语义依赖的有监督句法特征,在五个基准上的实验表明本文提出的潜在模型的有效性。
结论
- 通过研究各种用于结构归纳的神经网络,以及用于动态组合不同结构的新型门控机制,考虑用于方面情感分类的潜在图结构中。
- 与依赖树GCN基线对比,本文模型没有引入额外的模型参数,但是显著提升了基线的表示能力
介绍
- 目前ABSA任务引入图结构后,效果有较大提升,但是仍然存在两个问题:
- 依赖解析在带噪声的文本上(例如:tweets、blogs、review comments)具有相对较低的准确度
- treebank可能不是捕获方面词和意见词之间交互的最有效结构
- 为了研究三种结构归纳方法(自注意力结构、分散注意力、hard Kuma discrete structures),本文建立了一种统一的自注意力网络;此外,为了利用依赖语法的互惠性,进一步考虑了一种新的门控机制,用于在GCN编码过程中合并多个树结构。
相关工作
- Aspect-level sentiment analysis. 包括三个任务:方面术语情感分类(ATSC, aspect term sentiment classification),方面类别情感分类(ACSC, aspect category sentiment classification),方面词或者观点词抽取。本文侧重ATSC。
- Latent graph induction. 首先,我们考虑基于方面词情感的方法,学习同一句子中不同方面词汇的不同结构。其次,我们对不同的潜在图归纳方法进行了实证比较,并研究了依赖树的互补效应。
第二遍
3 模型
3.1 句子编码器
-
本文使用了一个BiLSTM编码器和一个BERT编码器,BERT编码器输入格式为: [ C L S ] w 1 w 2 . . . w n [ S E P ] w f w f + 1 . . . w e [CLS]w_1 w_2. . .w_n[SEP]w_fw_{f+1}. . .w_e [CLS]w1w2...wn[SEP]wfwf+1...we,其中 w 1 , . . , w n w_1,..,w_n w1,..,wn为输入序列, w f , . . . , w e w_f,...,w_e wf,...,we为评价对象词,需要注意的是BERT采用了子词(subword level)编码,最后使用汇聚操作,将输出表示为word-level表示( w i → c e i o w_i \rightarrow \mathbf{c}e_i^o wi→ceio)
-
为了让编码器学习到aspect-specific的表示,本文采用了基于距离的Aspect-mask的方法;评价对象词的m值为0,其他词距离评价对象词越近, m i m_i mi越大,评价对象词周围词对它的建模能力更强。 h i o = m i c e i o \mathbf{h}_i^o = m_i\mathbf{ce}_i^o hio=miceio
m i = { 1 − f − i n 1 ≤ i < f 0 f ≤ i ≤ e 1 − i − e n e < i ≤ n m_{i}= \begin{cases}1-\frac{f-i}{n} & 1 \leq i<f \\ 0 & f \leq i \leq e \\ 1-\frac{i-e}{n} & e<i \leq n\end{cases} mi=⎩⎪⎨⎪⎧1−nf−i01−ni−e1≤i<ff≤i≤ee<i≤n
3.2 依赖树表示
- 图的邻接矩阵
A d e p [ i , j ] = { 1 if i → j or i ← j 1 if i = j 0 otherwise \mathbf{A}_{d e p}[i, j]= \begin{cases}1 & \text { if } i \rightarrow j \text { or } i \leftarrow j \\ 1 & \text { if } i=j \\ 0 & \text { otherwise }\end{cases} Adep[i,j]=⎩⎪⎨⎪⎧110 if i→j or i←j if i=j otherwise
3.3 潜在图
-
本文通过三种方法建立潜在图