NLP-*-Glove词向量原理

Glove词向量

引入

学习词向量有两种方法：局部和全局

全局的代表有 LSA PLSA等

局部的代表有 Word2Vec

他们都有各自的缺陷，全局的没有利用好词之间的类比信息，局部的方法没有利用词全局的统计信息

Glove词向量即利用了局部信息也利用了全局的统计信息，全名为：Global Vectors for Word Representation Jeffrey

word2vec是常用的开源词向量解决方案，还有一种也比较常用的为Glove，一般都会把他们俩放到一起讨论

Glove

概述

• 模型目标：进行词的向量化服务，使得向量之间尽可能多的蕴含语义和语法信息
• 输入：语料库
• 输出：词向量

共现矩阵

• 定义：设矩阵为$X_{i,j}$为共现矩阵，K为窗口大小。
• 含义：$X_{i,j}$代表单词$i$在窗口K内与单词$j$同时出现的次数

**示例：**我在青岛栈桥等你，你在青岛栈桥等他。涉及单词:[我，在，青岛，栈桥，等，你，他]，那么构建矩阵为7*7大小，设窗口K=3，则共现矩阵如下

	我	在	青岛	栈桥	等	你	他
我	-	1	1	0	0	0	0
在	1	-	2	2	0	0	0
青岛	1	2	-	2	2	0	0
栈桥	0	2	2	-	2	1	1
等	0	0	2	2	-	1	1
你	0	0	0	1	1	-	0
他	0	0	0	1	1	0	-

那么得到共现矩阵后该怎么得到每个词的词向量呢？

公式

$$J={\Sigma }_{i,j}^{N}f(X_{i,j})(v_i^T{v}_j+b_i+b_j-log(X_{i,j}){)}^2$$

其中，$v_i,v_j$指的是单词$i$、单词$j$的词向量，$b_i,b_j$是两个标量（作者定义的偏差项），$f$是权重函数。$N$是词汇表的大小，共现矩阵维度为$N\ast N$

可以看到，Glove没有使用神经网络的方法

定义：$X_i={\Sigma }_{j=1}^N{X}_{i,j}$，即共现矩阵种一个单词行所有列的值相加；条件概率：$P_{i,k}=\frac{X_{i,k}}{X_i}$，表示单词$k$在行单词$i$的概率；$ratio{n}_{i,j,k}=$