论文阅读笔记：Label-Specific Document Representation for Multi-Label Text Classification

0、简介

• 论文名字：Label-Specific Document Representation for Multi-Label Text Classification
• 论文链接：https://www.aclweb.org/anthology/D19-1044.pdf
• 会议：ACL2019

1、motivation

本文的任务是文本多标签分类任务，在文本多标签分类任务中，一个待分类的文档会有多个标签，因此一篇文档的整体语义信息是由多个部分组成的。本文引入标签信息，使用注意力机制捕获文档和不同标签之间的语以信息。

2、模型结构

（1）Input Text Representation

本文使用BiLSTM对输入的文本学习representation，BiLSTM隐藏层的双向输出拼接起来当做文本的表示。

上面公式中H为文本的表示

（2）Self-attention Mechanism

使用self-attention计算文本对每个label的表示，计算公式如下所示：

$A^{(s)}$的维度是$l\ast n$，$l$是label空间的大小，n是文本中token的个数。$A^{(s)}$代表本文对每个label的attention值。

上面公式计算得到的$M_j^{(s)}$就是文本对第j个label的表示。$M^{(s)}$的维度是$l\ast 2k$，是文本对所有label的表示。

（3）Label-Attention Mechanism

self-attention mechanism是基于文本的内容计算attention值的，并没有考虑到label的文字含有的语义信息。因此作者使用label-attention mechanism，将label文字中的语义信息使用起来，计算attention值。作者为他的这个motivation举了个例子。待分类的文本是：

“June a friday, in the lawn, a war between the young boys of the football game starte”

文本被分到了“youth”和 “sports”两类。很明显，文本中“young boys” 应该和“youth”在语义上更相关，“football game”和“sports”更相关。

作者将label的文字进行编码得到label embedding $C$，论文里作者并没有具体说通过什么方式编码得到label embedding的。将$C$当作query,(1)中得到的文本的embedding $H$当作 key计算attention值，公式如下所示

这里作者没有使用Bi-LSTM的前后向合并输出，而是将前后向的输出分别计算了attention值。

然后用得到的attention值计算文本对于label的表示，公式如下所示：

（4）Adaptive Attention Fusion Strategy

上面步骤我们计算得到两个文本内容和label之间关系表示$M^S$和$M^l$。本文将两M个表示进行融合，融合的方法如下：

首先使用sigmoid函数将$M^S$和$M^l$缩小到(0,1)的范围内，分别为$\alpha$和$\beta$。然后将$\alpha$和 $\beta$ normalize，使其和为1，分别得到${\alpha }_j$和${\beta }_j$。通过${\alpha }_j$和${\beta }_j$，将$M^S$和$M^I$融合为$M$。
(5) label prediction

得到融合后的文本和label之间的关系表示$M$后，作者将M输入全连接层和sigmoid函数，得到了文本对应每个label的预测概率，公式如下

然后用预测值和文本真正的标签计算损失函数，通过最小化损失函数优化模型，公式如下所示