【层级多标签文本分类】Hierarchy-aware Label Semantics Matching Network for Hierarchical Text Classification

Hierarchy-aware Label Semantics Matching Network for Hierarchical Text Classification

1、背景

1、作者（第一作者和通讯作者）
   Chen Haibin, Ma Qianli
2、单位
    South China University of Technology
3、年份
   2021
4、来源
   ACL会议

2、四个问题

1、要解决什么问题？
   由于标签层次的复杂结构，层次文本分类是一项重要而又具有挑战性的任务。现有的方法忽略了文本和标签之间的语义关系，不能充分利用文本的层次信息。解决层次文本分类问题

2、用了什么方法解决？
   提出了一种层次感知的标签语义匹配网络(HiMatch)。首先，我们将文本语义和标签语义投影到一个联合嵌入空间。然后引入联合嵌入损失和匹配学习损失来建模文本语义和标签语义之间的匹配关系。

3、效果如何？
   在不同的基准数据集上的实验结果验证了我们的模型达到了最先进的结果。

4、还存在什么问题？
   

论文笔记

1、INTRODUCTION

    HTC是一种特殊的多标签文本分类问题，它引入层次结构来组织标签结构。如下图，HTC模型预测给定标签层次中的多个标签，这些标签通常以自顶向下的方式构建从粗粒度标签到细粒度标签的一条或多条路径。一般来说，细粒度标签是描述输入文本最合适的标签。粗粒度标签通常是粗粒度标签或细粒度标签的父节点，表达了更一般的HTC是为了对大规模、不平衡和结构化的标签层次结构进行建模的关键挑战。

    HTC现有的工作忽略了文本语义和标签语义之间的相互作用，这对分类非常有用。对文本语义和标签语义之间的交互进行建模的一种自然策略是通过标签注意力或自动编码器引入文本-标签联合嵌入。基于标签注意的方法采用了自我注意机制来识别标签特定的信息。基于自动编码器的方法将普通经典相关自动编码器扩展到基于排名的自动编码器体系结构，以产生可比的文本标签分数。然而，这些方法假设所有标签都是独立的，没有充分考虑粗粒度标签和细粒度标签之间的相关性，这不能简单地转移到HTC模型。

   本文将文本与标签之间的交互描述为一个语义匹配问题，并提出了一种层次感知的标签语义匹配网络(HiMatch)。其主要思想是文本表示应该在语义上类似于目标标签表示(尤其是细粒度标签)，而它们应该在语义上远离不正确的标签表示。首先，分别采用文本编码器和标签编码器来分别提取文本语义和标签语义。其次，将文本语义和标签语义投影到文本-标签联合嵌入空间，在那里利用文本和标签之间的相关性。之后，我们应用匹配学习损失来以层次感知的方式捕获文本-标签匹配关系。

2 Related Work

2.1 Hierarchical Text Classification

   层次文本分类是一种特殊的多标签文本分类问题，其中分类结果被分配到分类层次的一个或多个节点。现有的方法主要集中于在全局视图中编码层次约束，如有向图和树结构。

2.2 Exploit Joint Embedding of Text and Label

   为了确定文本和标签之间的相关性，研究人员提出了各种方法来利用文本-标签联合嵌入。然而，它们没有充分考虑细粒度标签、粗粒度标签和错误标签之间的标签语义和整体标签相关性。此外，由于层级的限制，我们不能简单地将这些多标签分类方法转移到HTC。

3 Proposed Method

   上图为论文的模型图，可以很清晰的看出整体的处理逻辑：文本编码器和标签编码器分别提取文本语义和标签语义。然后将文本语义和标签语义投影到联合嵌入空间中。联合嵌入损失鼓励文本语义与目标标签语义相似。通过引入匹配学习损失，细粒度标签语义(Debt)在语义上最接近文本语义，其次是粗粒度标签(Economics)，而其他不正确的标签语义在语义上远离文本语义(Revenue，Social)。相对顺序为d1<d2<d3<d4，其中d表示关节嵌入中的度量距离。

3.1 Text Encoder

   在文本表征环节，论文采用跟HiAGM模型中一样的表征网络，具体流程为：先输入到Bi-GRU进行字的表征学习；然后使用CNN+k-maxpooling方法抽取文本特征T，对应维度为k*d_cnn，k为label的数量，d_cnn为卷积后学到的特征数量；最后使用Feature Propagation模块将学习的特征与标签体系的先验信息进行交融学习，得到最终的文本表征向量S_t。

   Feature Propagation模块：其思路与HiAGM一致：先利用先验知识将标签体系定义一个图——$G=(V_t,$