Label-Specific Document Representation for Multi-Label Text Classification笔记

奋斗的海绵

于 2023-04-27 20:28:43 发布

阅读量204

点赞数

分类专栏：多标签短文本 NLP 文章标签：笔记人工智能深度学习

本文链接：https://blog.csdn.net/weixin_44695049/article/details/130414604

版权

该文章介绍了LSAN模型，一种用于多标签文本分类的方法，它考虑了标签相关性并使用注意力机制。模型分为两部分：一是提取标签相关的文档内容，二是自适应融合标签和文档信息。通过BCE损失函数进行训练，优化标签预测。

摘要由CSDN通过智能技术生成

摘要

这篇文章是发布在2019年的EMNLP上的文章，这篇文章被多个模型作为baseline，所以将这个模型的具体内容拿过来看一下，如果可以，以后可以在这篇文章进行一个baseline的比较；
文中提到多标签文本分类中一个文档可能是含有多个topic的，而这些topic是由多个lable来组成体现的，也就出现了多个labels共享同一个文档子集的形式，那么这些对应同一个document的labels必然是有一定的相关性的；
之前的文献中提到的方法都是注重在文本的表示上做文章，而文中提到的方法是考虑了标签相关性，同时引入了Attention机制来实现将标签相关性信息融入到document的表示中，整篇文章围绕着三个问题：
1. 一个是如何捕捉到原始文档中的语义模式信息；
2. 如何从文中得到对应于相关labels的具有辨别性的文本信息；
3. 如何精准的捕捉到labels之间的相关性；
文中的贡献点：
1. 使用了获取特定标签信息的注意力机制，同时考虑了文档的内容以及标签信息；
2. 使用适应性的融合策略，从label和document中提取正确的label信息和对应于label的document信息，来构建特定标签的文档表示；

本文中提到的LSAN模型大体上是分为两个部分，第一个部分是用来提取文档中跟label相关的指定部分的内容，这个部分的功能是通过探究文档内容以及标签文本来实现的；第二个部分是通过自适应的从两个部分——document and label中提取正确的信息；最后，将提取好的信息进行融合，在这个指定标签的文档表示上进行训练；
通过上面的流程图中可以看到这个模型的结构图一共是分为有两大部分，第一个部分主要是用来进行文档表示，其中这个文档表示部分又分为有单纯的对document部分进行表示，以及结合label信息使用特定label的Attention机制对于document部分进行表示，然后，将这两个部分进行结合，最终得到文档的嵌入表示；第二个部分是自适应融合部分，这个部分主要是引入了相应的权重向量，来全权衡在通过Part-two部分之后的文档表示中上面的两个表示环节中各自占有的比重大小，然后进行加权相加，得到最终的文档表示向量；

再将上面的表示向量通过两层的全连接层，内层使用ReLU激活函数，外层使用sigmoid激活函数，最终得到该document对应的各个label的概率信息；然后通过BCE损失函数得到预测值跟groundtruth之间的差距，进行反向传播；下面讲述其中的各个的部分的细节

本部分分为有两个不同的Attention模块：单纯引用于document表示的self-attention模块；结合了label信息的特定label注意力document表示模块；

Self-attention模块；
1. 首先，假定输入进来的document有N个，在这N个document中，每一个document又有n个words；然后他们进行词嵌入的维度为k；并且定义label space中的label的个数为 $l$ 个；
2. 将输入进来的document，通过BiLSTM得到有关于上下文的前向以及后向的语义表示信息，
  
  其中， $h_p$ 表示第p步的word表示信息， $h_{p-1}$ 表示第p-1步的word表示信息，并且 $w_p$

关注

专栏目录