Multi-label Classification of Short Texts with Label Correlated Recurrent Neural Networks笔记

1. 这篇文章的处理背景，首先是由于应用场景的需求，在一些场景下，一些短文本仍然是具有多个标签的，但是由于上下文的稀疏性以及词的共现率太低，并且对于短文本进行分类处理任务不能像普通的文本那样具有丰富的上下文语义的共享产生，所以之前的一些传统的用于处理短文本单标签的一些方法可能对于处理短文本多标签来来说性能较差。

2. 为了解决上面的问题，人们首先捕捉到了标签之间的相关性信息，构建了一个标签相关图；在原来神经网络没有发展起来的时候，人们使用主题模型来实现数据特征降维，（但是主题模型这种方式将短文本看成一袋词集合，因此这种方式就丢掉了序列信息和语义信息）后面在神经网络发展的过程中，我们发现它的效率很高，后面就将神经网络引入到处理分类问题上，使用神经网络可以更加有效的捕捉到序列信息和丰富的语义信息；

3. 文中设计的模型使用的方法在解决上面的问题的贡献点在于：

   1. 本文中的模型是第一个探索了短文本分类过程中的标签相关性的模型；
   2. 正如1中提到的探索短文本的标签相关性，为了探索他的标签相关性使用的方法是通过一些数据集中的标签的频率共现构建了一个树结构的无向图用来表示这汇总共现关系，这种方式构建出来的图实际上就是通过最大生成树算法构建出来的CRF（条件随机场）；其中使用了数据的分片训练模式来提取得到这样的一个条件随机场；
   3. 通过在上面构建出来的共现无向图上使用最大乘积算法最终得到精确的标签推断结果；

4. 文中提到，对于用在短文本上的标签相关性捕捉方法之前是没有的，都是用来捕捉图像和长文本文档的标签相关性方法；同时主流的用来获得丰富的表示信息的方法是通过外部语料库信息来富集当前短文本信息的方法来获取相应的表示；同时也提到了一种通过精简短文本的方式来提取具有表征性的表示进行分类操作；

5. 对于构建标签相关图上，

   1. 相比于BR模型这种只是单纯的有多少个标签就构建多少个二分类器，最终简单的对于输入的未知数据得到多个二分类器的结果进行简单的拼接，最终得到的标签集作为最终的分类结果，本文中做出了改进，就是考虑上了标签之间的共现相关性信息进来，最终达到提升分类准确性的目的；

   2. 文中使用循环神经网络RNN，比方说它的变体LSTM这种网络结构来获取良好的文本序列和语义信息，然后通过构建一个标签共现图，即这样的一个在训练集上的获取标签的共现信息构建出的树结构的无向标签共现图，这个图实际上就是一个CRF模型；

      正如上面的图中的a图中所示，而计算对于输入实例的标签的联合概率是

      其中，$C$集合表示对于标签图簇的集合，而${\psi }_c(y_c,x)$ 是一个映射函数，这个函数的目的是将标签簇$y_c$ 标签结构和输入实例x 映射到一个正标量值。而$Z(x)$ 是一个位置函数，来保证有效的条件分布，$L$是标签空间中标签的总数；

6. Piecewise Training of CRF

   1. 正如上面所说的那样，如果我们需要计算对于指定输入实例所对应的标签集的联合概率时，需要依赖1中的公式，其中的$Z(x)$表示一个可以使得条件概率计算有效的规范项