《BiLSTM with Multi-Polarity Orthogonal Attention for Implicit Sentiment Analysis》论文阅读笔记

文章名:《BiLSTM with Multi-Polarity Orthogonal Attention for Implicit Sentiment Analysis》

作者 Jiyao Wei a,1, Jian Liaoa,1, Zhenfei Yanga, Suge Wanga,b,∗, Qiang Zhaoa

年份 2019

1 Introduction

目前文本情感分析多分析带有表现明显情感极性词语的文本，而隐性表达作者情感的文本分析相关研究很少。

2 Related Work

常用的注意机制可以根据注意的排列位置分为全局机制和局部机制， 它们也可分为来源目标注意、自我注意和多头注意。 这些研究启发了作者引入情感关注，它为捕捉情感极性之间的特征差异嵌入了额外的信息。

3. BiLSTM with multi-polarity orthogonal attention model

3.1. Framework of the proposed model

 该模型包含6层：输入层、预训练层、BiLSTM层、多极注意层、fully connected层和输出层。

（1）Input layer

采用one-hot编码为每个词生成索引嵌入向量，（加粗字体表示词嵌入或者矩阵，|V|表示全集，下同）将索引嵌入喂入预处理。

（2）pretraining layer

预处理层分成静态层和动态层。

静态层生成共享查找表。 它采用预先训练的词嵌入资源作为初始化，编码更多的初始语义信息，其中de是词嵌入的维数。最后的词嵌入表示为Wt：。在动态层中，根据上下文信息动态编码词嵌入，能够更准确表达词信息，公式为