word2vector & paragraph2vector 技术分享

范涛

发表于2017-04-07

前言       

在FastText 那章节，提到了word2vector。这里就专门分享下word2vector的一些技术细节吧。第一次深入调研word2vector是在15年下半年的时候，当时团队leader希望我来负责这块技术在文本挖掘项目的落地。15年那会，我调研的时候，这块技术在国内已经传播很广泛了，各种技术应用和分享都很多，这对我来说是一件非常利好的事情（站在巨人的肩膀上，哈哈）。拿word2vector来说，吸引大家眼球的是他对海量数据的支持以及快速训练。他之前那些基于深度学习的深度语言模型可能效果好，但是速度太慢，对大数据不够scalable，导致在工业界应用很难。但是word2vector解决了这个问题，所以，立马在工业界有了相对广泛的运用。目前在工业界常见的应用有：词云，词典扩充，分类，情感分析，一些dnn模型embedding层初始权重矩阵等。那什么是paragraph2vector ？  paragraph2vector 其实word2vector的一种扩展，是文档的一种向量表示。其实paragraph2vector是一种更为直接的表示，因为实际上大家应用的时候很少直接用词向量，更多是需要对文档进行向量表示而进行的文档级别的应用比如分类，聚类等。但是实际paragraph2vector目前应用上有个问题，还是不够scaleable，基本文档数过百万的时候就容易爆内存。

主题

       下面就分享下之前的调研结果：