《Document Classification by Inversion of Distributed Language Representations》分享

范涛

发表于2017-04-07

前面分享了word2vector，这里想再提下这篇文章，这篇文章是ACL2015上面的一篇paper。之前在用word2vector一直在想，怎么把词向量用在分类模型中？ 一篇文档可以用各个词的词向量加权平均或者直接用paragraph2vector构建文档向量，再利用lr，gbdt等分类模型就可以了。但是这里面还有些问题：（1）word2vector忽略了文档词序； （2）如果分类样本比较少，直接用paragraph2vector直接学习的向量模型未必靠谱。分类样本不多时候，如果想要利用已有大规模样本训练的词向量模型怎么办？

这篇文章的思路，可以在一个通用的词向量模型基础上，拿不同分类样本分别增量更新这个词向量模型，这样不同分类有不同的词向量模型。再利用Bayesian 规则来得到最终的分类。文章提到了该方法在情感分析上应用。说道情感分析，想多说点。我们现在通用语料训练出的词向量模型在情感分析上是很难直接应用的，比如投资市场语料进行情感分析。因为“上涨”和“下跌”这两个词的在通用语料的词向量可能很接近，但是这两个缺失完全不同的情感属性。所以，怎么解决这个问题?  既然通用语料这两个词词向量很接近，但是在利用不同情感类别语料训练的单独词向量模型两者还会很相似吗？