达观杯文本处理（三）--word2vec

1、词向量word2vec介绍

词向量提供了一种数学化的方法，把自然语言信息转化成向量形式的数字信息。这样便可以把自然语言的理解问题转化视为机器学习问题来处理。

其中最常用的词向量模型无非是 one-hot Representation模型和 distributed representation 模型。

1.1 One-hot Representation模型

One-hot Representation 就是用一个很长的向量来表示一个词，向量长度为词典的大小N，每个向量只有一个维度为1，其余维度全部为0，为1的位置表示该词语在词典的位置。

举个常见例子:

“话筒”表示为 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 …] 
“麦克”表示为 [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 …]

这种 One-hot Representation 如果采用稀疏方式存储，会是非常的简洁，也就是给每个词分配一个数字 ID。但这种表示方式有两个缺点： 
（1）容易受维数灾难的困扰，每个词语的维度就是语料库字典的长度。 
（2）词语的编码往往是随机的，导致不能很好地刻画词与词之间的相似性

1.2 distributed representation 模型

Distributed representation 最早由 Hinton在1986 年提出。其依赖思想是：词语的语义是通过上下文信息来确定的，即相同语境出现的词，其语义也相近。

1.3 Distributed Representation与one-hot representation对比

在形式上&