【论文笔记】文本分类(text classification)论文整理

Distributed Representations of Sentences and Documents

这篇文章借鉴了word2vec的方法来训练长文本向量，如句子，段落，文档。首先随机初始化文本向量和文本中词的词向量，利用skip-gram和CBOW模型（在文中称为PV_DM和PV_DBOW模型）一起训练词向量和文本向量。

论文链接：https://cs.stanford.edu/~quocle/paragraph_vector.pdf

PV-DM：

PV-Dbow：

最后将两个模型训练得到的文本向量结合作为最终的文本向量，利用文本向量可继续做更高级的任务，如文本分类，情感分析等。

HierarchicalAttention Networks for Document Classification

论文链接：https://www.cs.cmu.edu/%7Ediyiy/docs/naacl16.pdf

    本文提出了层次注意力网络，该模型使用GRU对词语和句子分别进行编码，分为word encoder和sentence encoder，两个encoder拥有各自的attention model。

Word encoder：首先采用双向GRU对每个句子内的词语进行编码，连接两个GRU的最后一个时间步的隐层向量作为每个词语的向量表示，初始化一个上下文向量，通过计算上下文向量和每个词语的匹配度来得到每个词语的attention值，利用attention值得到句子内所有单词向量的加权和，就是最终该句子的向量表示，GRU、上下文向量、匹配函数的参数都会在训练中得到更新，

Sentence encoder：在得到各个句子的编码后采用相同的attention机制得到各句子向量的加权和，得到文档的向量表示，将该向量输入全连接层做文本分类，训练更新参数。