论文浅读-Latent Opinions Transfer Network for Target-Oriented Opinion Words Extraction

---

论文下载地址

---

动机

从2019年作者Fan在论文 Target-oriented Opinion Words Extraction with Target-fused Neural Sequence Labeling 中定义了 TOWE（Target-oriented Opinion Words Extraction）任务，旨在从评论文本中抽取给定意见目标（opinion target）对应的观点词（opinion words）。 考虑到标注大量细粒度情感分析数据是耗时且困难的，这篇论文提出了从迁移学习的角度出发，提出潜在观点迁移网络，从资源丰富的评论情感分类中迁移潜在的观点知识来提升TOWE。 添加了一个评论情感分类模块，这个模块运行了两次，第一次是模型训练之前，先用情感分类模块训练大型的评论数据集，预训练结束后，情感分类模块中所有的参数固定。第二次运行是在训练时，用来获取输入的sentence中的意见词。

---

亮点

1. 在解决注释数据不足的问题上，作者首次提出将潜在的观点知识从资源丰富的评论情绪分类数据集转移到TOWE的低资源任务中。
2. 为了有效地传递意见信息，作者出了一种新的模型，从情感分类模型中提取潜在的意见词，并通过辅助学习信号将其整合到TOWE中,提升TOWE模型的性能。

---

概念及模型

TOWE目标是从一个句子中抽取给定目标对应的意见词，具体来说，给定由n个单词组成的评论句子s = {w1，w2，wn}和句子s中的意见目标wt1(注意，为了简单起见，我们没有将意见目标表示为一个单词。当给定不同的意见目标时，句子的不同标注结果。意见目标用下划线突出显示，意见词/短语用粗体显示。

潜在意见转移网络（LOTN）:

如上图所示，该论文提出将基于注意力的情感分类模型中提取的潜在意见词通过辅助学习模块整合到TOWE中，以提升TOWE的性能。
模型思路：首先，通过评论情感分类模块，使用Yelp等大型评论数据集进行训练，训练结束后，情感分类模块所有参数保持不变（这里体现了迁移学习思想，使用其他模块的数据集来训练模型）。其次，提出了模型LOTN，在模型运行时，同一个句子分别输入TOWE模块和情感分类模块，情感分类模块通过基于注意力机制的bilstm找到可能存在的意见词（目标无关）。提出了一种转移方法识别潜在的目标相关的意见词。又提出了一种辅助学习方法将识别到的潜在目标相关的意见词转移到TOWE中。最后通过解码层进行序列标记任务。
情感分类模块预处理：评论情感分类旨在检测评论文本的总体情感极性(例如，正面或负面)。在传递潜在观点之前，首先在大规模评论情感分类数据集上预处理一个基于注意力的BiLSTM模型。注意机制用于捕获潜在的和全局的对情感分类有意义的意见词。预训练结束后，该模型参数保持不变。注意力权重α_i计算如下：

其中h^sc_avg 表示为所有隐藏状态的平均值,u() 进行线性变化，转化为一个数，好计算注意力权重。
TOWE模块：基于位置嵌入的Bi-LSTM，输入的单词 w_i 的表示 e_i 由字向量和对应该位置的位置向量串联而成: e_i=[E_emb(w_i):E_pos(l_i)] , l_i=|i-t| ,每个单词到目标词的相对距离,通过Bi-LSTM捕捉每个单词的上下文信息h^t_i
情感分类模块：为了转移潜在的观点知识，将任务的句子s输入到预训练的情绪分类模块，生成对应的隐藏状态 {h_sc1,h_sc2,…,h_scm} 和注意力权重 {α₁,α₂,…,α_n} 。然后通过连接把两个隐藏状态进行整合 r_i=[h^t_i:h^sc_i],这里的 ri 即包含了任务特定的上下文信息，也包含了来自情感分类模块的外部opinion知识.
转移潜在的观点词（情感词）方法:

1. Transformation Method：情感分类模块中的注意力机制以概率权重的方式捕捉潜在的意见词（与目标无关），作者通过目标和相关距离权重 c_i 将目标信息引入到注意分布中：
   然后归一化处理，设置一个阈值 1/n，得到和目标相关的观点词。
   
   

2. 辅助学习信号：通过辅助学习信号将这些潜在的观点知识整合到TOWE模块中，这里的 La 就表示的是辅助学习信号。
   LOTN损失函数：最终的损失函数定义如下：
   
   其中 L_t 是TOWE的损失函数：
   
   

---

实验

Yelp Review 和 Amazon Review 用于预训练情感分类模块,
SemEval 2014 , SemEval 2015, SemEval 2016用于TOWE模块训练

结果：