论文阅读笔记：Label-Specific Document Representation for Multi-Label Text Classification

0、简介

• 论文名字：Label-Specific Document Representation for Multi-Label Text Classification
• 论文链接：https://www.aclweb.org/anthology/D19-1044.pdf
• 会议：ACL2019

1、motivation

本文的任务是文本多标签分类任务，在文本多标签分类任务中，一个待分类的文档会有多个标签，因此一篇文档的整体语义信息是由多个部分组成的。本文引入标签信息，使用注意力机制捕获文档和不同标签之间的语以信息。

2、模型结构

（1）Input Text Representation

本文使用BiLSTM对输入的文本学习representation，BiLSTM隐藏层的双向输出拼接起来当做文本的表示。

上面公式中H为文本的表示

（2）Self-attention Mechanism

使用self-attention计算文本对每个label的表示，计算公式如下所示：

$A^{(s)}$的维度是$l\ast n$，$l$是label空间的大小，n是文本中token的个数。$A^{(s)}$代表本文对每个label的attention值。

上面公式计算得到的Mj(s)M_{j}^{(s)}