概括的一些内容
- 把意见目标和意见词组成一个pair,而不是像之前那样分成子任务进行研究。
- 什么是意见目标呢?
意见目标就是Opinion Target/Aspect Terms,是在一句话中用户针对其表达了态度的实体entity或者特征feature。
- 什么是意见词呢?
意见词就是Opinion Words,就是用来表达态度的词语。
- 本文的工作就是:
给定一条评论和评论中的意见目标,TOWE模型的任务是提取出用来描述意见目标的对应的意见词。在同一条评论中,对于不同的target意见目标,模型需要输出不同的意见词。
- 核心的挑战就是学习特定目标的上下文表示。
提出了一个Inward-Outward LSTM模型。将targer information分别传递给左边的context和右边的context,再将左边,右边和全局context整合起来去做sequence labeling。注意一个opinion target可能对应多个opinion terms,一个opinion terms可能对应多个单词。
模型介绍
- Task Formulation
给定一个句子 s = { w 1 , w 2 , w 3 , . . . , w i , . . . , w n } s=\{w_1,w_2,w_3,...,w_i,...,w_n\} s={w1,w2,w3,...,wi,...,wn},再给定一个opinion target t t t,任务就是通过对句子进行序列标注找到对应target的观点词opinion word。
- 文章中采用的是BIO标注模式,即(Begining,Inside,Others)。
- Framework
提出了融合了target信息的编码器target-fused encoder将target信息融合进上下文中得到target-specific context representations,并将其传进decoder中进行序列标注。
Target-Fused Encoder
- 通过Embedding lookup Table将 s = { w 1 , w 2 , w 3 , . . . , w n } s=\{w_1,w_2,w_3,...,w_n\} s={w1,w2,w3,...,wn}映射成向量序列 { e 1 , e 2 , . . . , e n } \{e_1,e_2,...,e_n\} {e1,e2,...,en}。
- 对序列标注的话如果采用传统的LSTM或者Bi-LSTM模型的话就无法生成针对特定target的表示了。
- TOWE的核心挑战就是target-specific context的表示。
Inward-LSTM
Outward-LSTM
Decoder and Training
给定sequential representation r r r,我们可以使用 r r r去计算 p ( y ∣ r ) p(y|r) p(y∣r), y = { y 1 , y 2 , . . . , y n } y=\{y_1,y_2,...,y_n\} y={y1,y2,...,yn}是BIO label sequence,并且 y i ϵ { B , I , O } y_i \epsilon \{B,I,O\} yiϵ{B,I,O}。