Paragraph2vec(段向量）-------基于《Distributed Representations of Sentences and Documents》

目录

一、概要

1）背景

2）摘要

二、内容

1）传统的bag of words

2）本文的paragraph vector

3）算法

（1）word2vec的算法原理

（2）paragraph vector算法

三、总结

---

一、概要

1）背景

本文是我学习word2vec和paragraph2vec之后写下的一篇文章，如有错误，请指正以共同学习。

2）摘要

paragraph vector，顾名思义——段向量，是对段落的一种的向量化表示。如果之前对word vector了解较少，建议阅读《word2vec 的数学原理》。那么paragraph vector有什么用呢？说白了就是保存上下文信息。举个简单的例子，一个句子的下一个词是什么，一定只和本句子有关吗？答案自然是否定的。例如，一个句子为:那是（），请填空。显然，根据句子本身无法推断出括号里需要填的是什么，有可能那是猪，也有可能那是猫。这就需要根据整个段落的信息来判断到底是猪还是猫了。这个时候，段向量就派上了用场。

本文主要是根据Mikolov的《Distributed Representations of Sentences and Documents》总结得到的。其英文原文很容易阅读，英语不错的同学建议直接阅读原文（强烈推荐作者其他关于word embedding的的文章）。

论文百度网盘链接：https://pan.baidu.com/s/1mY3QwUzbRLD9gYcYPhf9mA 密码：nns4。

二、内容

1）传统的bag of words

词袋模型：对于一个文本，忽略词序和文法，将整个文本仅仅看作一些词语的集合。显然，这种模型的局限性很大。例如对于词序，“草吃牛”和“牛吃草”的意义相去甚远，但是在词袋模型中