文章基本信息
标题:Deep Multi-Task Learning for Aspect Term Extraction with Memory Interaction
作者:Xin Li and Wai Lam
机构:Key Laboratory on High Confidence Software Technologies (Sub-Lab, CUHK),Ministry of Education/ Department of Systems Engineering and Engineering Management / The Chinese University of Hong Kong, Hong Kong
收录信息:Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 2886–2892 Copenhagen, Denmark, September 7–11, 2017.
相关数据集:
Yelp
GloVe
相关代码:
CRF
文章动机
1、观点词能够指导目标词的抽取,因此观点词应该与目标词一起抽取。
2、利用神经记忆交互建立目标-观点词之间的联系,并同时考虑了局部和全局的记忆。
方法
1、设计了三种具体任务的LSTM,分别为A-LSTM(aspect extraction)、O-LSTM(opinion words extraction)和S-LSTM(sentence classifica)
2、对于A-LSTM和O-LSTM的记忆增强,设计了三种模式:READ(从之前的记忆中构建新的记忆库)、DIGEST(从构建的记忆库中蒸馏出特定目标词(观点词的记忆)和INTERACT(用具体的记忆在A-LSTM和O-LSTM之间进行记忆交互操作)
READ
在线性上下文中,利用依存句法树,获取O-LSTM的记忆
DIGEST
为了得到目标词和观点词之间的联系,直接计算距离成本较高,因此设计了两种权重关系:
1、利用聚类,将观点词进行聚类并取得的聚类中心然后估计每个词的权重。
2、位置相关性作为权重:
根据生成的两个权重计算最终的记忆:
INTERACT
记忆更新
预测:
Loss function
由于构造了三部分的LSTM,因此在联合任务中,对于损失函数需要将三部分的损失进行相加:
A-LSTM和O-LSTM
S-LSTM:
总的损失函数为:
实验及结果
主要实验结果如图2所示:
进行了消融实验:
实验结果显示,提出的方法有效,但是并没有分析为什么有效,就强调在英文的表达里面,观点词后面跟目标词这种形式很常见。
总结与反思
1、文章提出了一种记忆交互网络,用于目标抽取任务(aspect extraction)
2、记忆交互网络主要是考虑了目标词和观点词之间的关系,因此对于不同的任务,作者通过LSTM产生了不同的任务的记忆,从而进行记忆交互。
对于作者给出的英文的常见形式是观点词后经常跟目标词,这种形式在中文里面并不常见,所以就距离这个策略是不是可能不大适用于中文里面。