1、词向量word2vec介绍
词向量提供了一种数学化的方法,把自然语言信息转化成向量形式的数字信息。这样便可以把自然语言的理解问题转化视为机器学习问题来处理。
其中最常用的词向量模型无非是 one-hot Representation模型和 distributed representation 模型。
1.1 One-hot Representation模型
One-hot Representation 就是用一个很长的向量来表示一个词,向量长度为词典的大小N,每个向量只有一个维度为1,其余维度全部为0,为1的位置表示该词语在词典的位置。
举个常见例子:
“话筒”表示为 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 …]
“麦克”表示为 [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 …]
这种 One-hot Representation 如果采用稀疏方式存储,会是非常的简洁,也就是给每个词分配一个数字 ID。但这种表示方式有两个缺点:
(1)容易受维数灾难的困扰,每个词语的维度就是语料库字典的长度。
(2)词语的编码往往是随机的,导致不能很好地刻画词与词之间的相似性
1.2 distributed representation 模型
Distributed representation 最早由 Hinton在1986 年提出。其依赖思想是:词语的语义是通过上下文信息来确定的,即相同语境出现的词,其语义也相近。
1.3 Distributed Representation与one-hot representation对比
在形式上&