【论文笔记】：Hierarchical Multi-label Classification of Text with Capsule Networks

Hierarchical Multi-label Classification of Text with Capsule Networks

仿照了这个博主的方法，读每一篇文献的时候都要问自己

一、四个问题

1、要解决什么问题？

2、用了什么方法解决？

将简单的浅胶囊网络应用于层次多标签文本分类；

3、效果如何？

4、还存在什么问题？

二、论文概述

2.1简介

• 胶囊网络在结构化数据上表现出了良好的性能；

• 我们将简单的浅胶囊网络应用于层次多标签文本分类；

• 性能优于其他神经网络，如cnn和LSTMs；优于非神经网络体系，如支持向量机；

• 引入Web Of Science（WOS）数据集，BlurbGenreCollection (BGC，包括所谓的书籍简介及其分级结构的写作体例)，证实了胶囊网络对罕见事件和结构多样的类别特别有利（结合潜在编码的能力）。

分层多标签分类（HMC）：

• 样本被划分为一个或多个标签，按照结构化的标签层次进行组织；
• 随着可用数据的增加，对更具体和专门化层次结构的需求也在增加。
• 传统的分类方法不能充分泛化，更复杂和鲁棒的分类方法受到关注；
• 复杂的神经网络分类器计算成本高、分析难度大、超参数数量多，使得局部分类器的实现变得困难；
• 全局方法——一个分类器能够一次捕获整个层次结构。

胶囊网络应用于HMC：

胶囊网络能够捕捉图像、自然语言的潜在空间结构。为了捕捉类别的底层结构，将胶囊网络的能力转移和应用到HMC。

每个胶囊与一个类别相关联，能够分别对每个类别的信息编码；

独立的组合每个胶囊（即类别）的编码特征，使胶囊网络能够比以前的方法更好的处理标签组合。（与HMC相关）

传统的分类器难以正确区分父标签和子标签，特别是在训练过程中从未观察到标签的特定组合时。提出：

• 提出新型开放可理解的面向英语语言的数据集： BlurbGenreCollection
• 深入分析了HMC的胶囊网络特性

2.2用于HMC的神经网络

• 样本被分配一个或多个分类标签，这些标签组织在一个结构化的标签层次结构中

• 对于文本分类(TC)，我们将文档视为样本，其类别视为标签。

• CNN和RNN在TC任务中效率很高，最显著的是长短期记忆单元

• 对于每个HMC，使用串联多层感知机（MLP），每个MLP关联到类层次结构的一个级别

.......

三、Capsule Network for HMC

• 对于层次结构中的每个类别，关联的胶囊以向量的形式输出该类别的潜在信息；
• 输出的向量是等变的，长度定义了其激活伪概率，方向表示了一个范畴存在的不同情况；（向量的表示方法使得胶囊比传统感知器提供的信息以指数形式更多）
• 胶囊网络第一层为主胶囊，可以是任意维度的，通常来自一个卷积层或一个循环网络的隐藏状态。输出向量表示潜在信息，如单词的局部顺序和语义表示。
• 第二层为分类胶囊，以加权和作为输入。