HFT-CNN-Learning Hierarchical Category Structure for Multi-label Short Text Categorization笔记

1. 这篇文章是发布于2018年的用来实现短文本多标签的文章，这篇文章的主题思想是通过构建一个层次结构来实现高效的多标签分类任务；

   1. 文中提到在这篇文章之前的多标签分类使用的都是一种平层的模型，相比于对于标签是分等级的模型而言，平层的模型的效果较差；
   2. 同时，如果一个模型的标签的层次越少，这样最终的效果越差；如果标签的层次越低，分类的结果越是细粒度；
   3. 文中提出的HFT-CNN模型使用的是利用上层的标签下的数据，通过经过fine-tuning后的CNN实现更低层次的分类任务；

2. 本文中的思想主要是：

   1. 目前主流的用来解决短文本分类的思想都是通过外部语料库信息富集的方式来实现补充短文本信息量不足的短板，但是这种方法也是存在缺陷的，缺陷就在于由于用来作为信息富集的外部语料库中的信息和模型的测试数据所处的领域是不同的，这就导致了模型学习得到的学习，和用来实际分类的数据存在领域壁垒问题；
   2. 解决上面问题的关键就在于需要扩大预定义或者是事先学习得到的这些领域分类定义的影响范围尽可能的扩大；
   3. 文中提到的是用来解决短文本分类的方法是通过学习不同分类之间的层次关系；对于我们捕捉到的类别层次关系肯定是低层次相比于高层次的类别的是更加细粒度的；同时高层次的类别包含的训练数据要比低层次的类别包含的数据要多；
   4. 模型提到的方法是使用高层次的数据信息来实现低层次的类别分类；而这个功能是通过经过Fine-tuning之后的CNN实现的；同时，异构信息也是通过这个CNN来实现的，将多个粒度的分类整合到一起，这样就成了更高层次的分类，从而实现分层次的类别；
   5. 文章贡献点：
      1. 扩大化了预定义类别的影响力；
      2. 同时，通过使用微调之后CNN类捕捉HS信息；
      3. 这种方法要比当时的CNN方法的性能要好；
   6. 文中使用CNN的目的是为了解决数据的稀疏性问题；

3. 基于CNN的层次微调模型

   1. CNN框架

      1. 如下图中所示

         这上面清晰的叙述了文中是如何使用CNN这个模型来实现特征的提取以及最终实现分类操作的；

      2. 首先，有几个对于相关符号的定义：$x_i\in R^k$ 这个标志着对于一个句子中的第