实时翻译的发动机:矢量语义(斯坦福大学课程解读)

640?wx_fmt=gif


大家好,我是为人造的智能操碎了心的智能禅师。

GraphDB 最近刚刚升级到 8.7 版本,此次特别更新了矢量语义包,直接以插件形式整合到程序中。

矢量语义在 NLP 领域,有着非常重要的意义,它用矢量的方式,加快了计算机学习新词汇的速度。让机器翻译、实时翻译、聊天机器人智能化等,成为可能。

全文大约5500字。读完可能需要好几首下面这首歌的时间

👇

640?wx_fmt=png

预备知识

回想一下我们读书时候,碰到不认识的词是如何操作的。

一种方式是直接查字典;另一种方式是先不理会这个词,继续往下阅读,当你越来越多的读到包含这个词的句子,词的含义也开始逐渐清晰起来。

640?wx_fmt=png

来源:Reaching Higher NH


传统 NLP,比如之前禅师发过的文章,类似查字典的方式,很可能导致词义和上下文脱节。例如 one-hot encoding,他认为“狗”和“猫”就是两个东西,即使你在下文中,明确指出来他们都是动物、都是宠物。

很明显,这种方式去做分词、打标签还可以,要想实现翻译、甚至聊天功能,那简直是不可能。

举个例子。 Tesgüino 这个词,估计没几个人认识,机器自然也不只是。但是当我们有了下面 4 个句子:

  1. 桌子上有一瓶 Tesgüino 

  2. 大家都喜欢 Tesgüino

  3. Tesgüino 能喝醉

  4. Tesgüino 是用玉米制成的

很容易就能联想出,Tesgüino 是一种酒(能喝醉);是装在瓶子里,用玉米制成。

虽然还是不知道 Tesgüino 什么样子,闻起来什么味道,喝起来什么感觉,但我们已经能够想象出这东西可能和高粱酒、伏特加、龙舌兰差不多,可能还更好喝一点(大家都喜欢)。

就这样,通过一个新词周边的近似词,我们也能推测出这个新词的含义。

单词向量是一行实数值(与虚数相对),其中每个点捕获单词的含义的维度,并且语义上相似的单词具有相似的向量。

所以我们只要计算出语义向量的相似度,就能很好的解决 NLU。那么接下来,考验智商的时刻到了(如果实在看不懂,拉到文末,相信会对你有所帮助)!

有请 NLP 一线开发者罗周杨,为大家解读一下斯坦福经典 NLP 课程中,矢量语义向量相似度计算。

关于罗周杨:

某互联网公司 NLP 开发者

最不喜欢的语言:JavaScript

推荐的电脑软件:Jetbrains 全家桶

推荐3本书:《Java编程思想》《深入理解计算机系统》《深度学习》

向量

文档和向量

如果用向量来表示一个文档,该怎么表示呢?

我们再莎士比亚的4部作品里(文档),找了4个词,我们统计各个单词在文档中出现的次数,可以得到一张表格:

640?wx_fmt=png


上面表中,有4个单词,所以每一个文档可以表示成一个由单词频率组成的向量:

640?wx_fmt=png


如果单词有很多个,假设是N,那么每个文档就可以表示成一个N维的向量。可见,这样的向量表示是稀疏的(sparse)。

单词和向量

除了文档可以表示成一个向量,单词也可以。

和文档类似,我们可以统计出一张表格,但是不同的是,我们不是统计单词的个数,而是统计两个单词出现在一起的频数。看一张表格你就知道了:

640?wx_fmt=png


这个表格是一个 V×V 的表格,每个数字表示当前列的单词出现在当前行单词后面的次数,这就构成了上下文,所以这个表格其实就是一个上下文矩阵,其中 V 就是总的词典的大小,也就是单词的数量。

我们取出每一行,就可以得到一个单词的向量表示,例如:

640?wx_fmt=png


同样的,这样的表示也是稀疏的。

Cos 计算相似度

现在我们已经有文档或者单词的向量表示了,那么该如何计算它们之间的相似度呢?一个很常见的方法就是余弦相似度(Cosine similarity)。

学过高中数学就知道,两个向量的点积(dot-product)或者内积(inner product)可以由以下公式计算:

640?wx_fmt=png


而向量的模(vector length)为:

640?wx_fmt=png

又:

640?wx_fmt=png

即:

640?wx_fmt=png

所以,我们可以计算640?wx_fmt=png640?wx_fmt=png的余弦值:

640?wx_fmt=png

所以,两个向量的余弦值越大,它们越相似。接下来就要介绍TF-IDF了。

TF-IDF

首先解释一下这个词:TF-IDF = Term Frequency - Inverse Document Frequency

其中term-frequency是单词

640?wx_fmt=png

在文档中出现的次数,

那么什么是 IDF 呢?首先我们弄清楚 DF(document frequency)。

DFT 表示出现过这个单词的文档(document)的个数。

那么,IDF就是:

640?wx_fmt=png

其中,N就是一个集合(collection)中的documents数量。

为了避免数值过大,通常会取对数:

640?wx_fmt=png

至此,我们可以计算这个单词 t 的tf-idf权值:

640?wx_fmt=png

此时,我们的第一个表格,就变成了:

640?wx_fmt=png


到目前为止,上面的所有向量表示都是稀疏的,接下来要介绍一种稠密的(dense))的向量表示:word2vec

Word2Vec

这个大家应该很熟悉了,应该算是NLP领域的标配了。,但是如果你没有一点基础的话,有些概念还是难以理解。想要相对完整地理解 word2vec,你需要结合多方面的资料。

TensorFlow 有一个教程《Vector Representations of Words》,文末扩展阅读也给出了参考链接。

Word embedding

首先我们解释一下词嵌入(word embedding)的概念。咱们之前的所有向量表示都是稀疏的,通常都是一个高维的向量,向量里面的元素大部分都是0。那么 embedding 有什么不一样的呢?

Embedding 同样也是用一个向量来表示一个词,但是它是使用一个较低维度、稠密地表示。

如果使用之前的稀疏表示,你可能会这样表示hello这个词语:

640?wx_fmt=png

使用 embedding 表示后:

640?wx_fmt=png

其中的差异一眼就看出来了。所以很明显,word embedding有好处:

  1. 不会造成维度爆炸,因为维度是我们自己设置的,通常比较小

  2. 向量是稠密的,不需要稀疏向量所采用的各种优化算法来提升计算效率

词嵌入理解了,那么什么是word2vec呢?其实就是把单词表示成固定维度的稠密的向量!说起来简单,但是也有很多小技巧的。

数据模型

假设我们有一个很大的文本语料,我们需要用这个语料来训练出单词的向量表示。那么该怎么训练呢?

word2vec 有两种常用的数据准备方式:

CBOW,用前后词(context words)预测目标词(target word) skip-gram,用目标词(target word)预测前后词(context word)。

我们用一个英语标准的测试键盘按键是否工作完好的句子开始:

the quick brown fox jumped over the lazy dog

这句话里包含了所有的英文字母。假设我们的窗口大小(window size)是2,目标词选择 fox。

如果是 skip-gram 模型,我们会这样准备数据:

640?wx_fmt=png

也就是一个目标词,我们可以构造出window_size个训练数据对。

如果是 CBOW 模型,我们会这样准备数据:

640?wx_fmt=png

看出其中的差异了吧?

总之,skip-gram 和 CBOW 就是两个相反的数据模型。Learning Word Embedding有两张图可以分别表示两种模型的输入方式:

640?wx_fmt=png

👆skip-gram 模型


640?wx_fmt=png

👆CBOW 模型


数据模型应该清楚了。

与之前不同的是,word2vec 并不关心相邻单词之前一起出现的频数,而是仅仅关心,这个单词是不是属于另一个单词的上下文(context)!也就是说,word2vec 不关系根据这个词预测出的下一个词语是什么,而是只关心这两个词语之间是不是有上下文关系。

于是,word2vec 需要的仅仅是一个二分类器:“这个单词是另一个单词的上下文单词吗?”

所以,要训练一个 word2vec 模型,我们其实是在训练一个二分类器。而二分类器,你肯定很容易就想到了 Logistic Regression。

实际情况,skip-gram 用的比较多,因为有一个说法,CBOW 模型在小的数据集上面表现不错,在大的数据集里,skip-gram 表现更好。

神经语言模型

这里需要说明进一步说明一下。 TensorFlow 里面有关于神经概率语言模型 (nerual probability language model) 的描述。

传统的神经概率语言模型的训练通常是用最大似然 (maximum likelihood) 法则来最大化下一个词的softmax概率,基于前面的词,也就是:

640?wx_fmt=png

其中,score(wt,h) 其实就是 wt 和 h 的点积 (dot-production)。

那么这样训练模型的目标就是,最大化对数似然概率 (log likelihood):

640?wx_fmt=png

这样的问题是计算量太大了,因为在每一个训练步里,需要对词典里的每一个词,使用 softmax 计算出一个概率值。这个模型如下图所示:

640?wx_fmt=png


正如前面所说,我们的 word2vec 并不需要一个完整的概率模型,我们只需要训练一个二分类器,从 k 个噪声单词 (noise words) 里面判别出正确的目标词 (target words)。

这 k 个噪声单词是随机选择出来的,这个技术叫做负采样 (negative sampling),因为选出来的一批词都是不是正确的 target word。这个模型如下图所示:

640?wx_fmt=png


这样一来,我们要最大化的目标就是:

640?wx_fmt=png


640?wx_fmt=png 表示二分类逻辑回归在数据集 D 中的上下文 h 中包含目标 wt 的概率。

The classifier

上面说到了负采样。什么事负采样呢?其实就是随机选取k个词语,和目标词组成负样本训练。

现在我们回到斯坦福的教材上来。这里列出训练一个 skip-gram 模型的要点:

把目标词和上下文词组成的样本当做训练的正样本 (positive sample)

随机选取一些词和目标词组成的样本当做训练的负样本 (negtive sample)

使用 logistic regression 训练一个二分类器来区分两种情况 regression 的权重就是我们的 embedding word2vec 需要的是训练一个 binary logistic regression,给定一个目标t和候选上下文 c 的元组 (t,c),返回 c 正好是 t 的上下文词的概率:

640?wx_fmt=png

那么,c 不是 t 的上下文词的概率就是:

640?wx_fmt=png

那么分类器如何计算这个概率 P 呢?skip-gram 模型有这样一个假设:相近的词它们的嵌入表示也很近。

也就是,我们可以把两个词语的嵌入表示的相似度,用来表示概率 P。相似度就用我们上文说到的余弦相似度:

640?wx_fmt=png

当然,点积的结果并不是概率表示,我们需要用 logistic 或者叫 sigmoid 函数,把它转化为概率表示:

640?wx_fmt=png

那么:

640?wx_fmt=png

上面的公式只是一个单词的概率,但是我们需要把整个 window 里面的单词计算进来。skip-gram 模型还有一个假设:所有的上下文单词之间是独立的。

假设我们的 window_size = k,于是有:

640?wx_fmt=png

通常,我们会使用对数概率:

640?wx_fmt=png

skip-gram 模型的训练

为了训练这个 word2vec,我们除了正样本,还需要负样本。实际上,负样本通常比正样本更多。一般用一个比率k来控制正负样本,如果 k=2 则说明,每一个正样本,对应2个负样本。这就是前面说的负采样技术。

构造负样本选择的词语(噪声词 noise words)是根据一个频率来的:

640?wx_fmt=png


其中,α是一个比率,一般来说取值640?wx_fmt=png

为什么需要这个比例呢?这样可以让出现次数少的词被选择的可能性变大。

举个例子,如果没有这个比率,假设P(a)=0.99,P(b)=0.01,加上这个比率之后:

640?wx_fmt=png

可见,b得选择的概率从0.01提升到了0.03。

有了正负样本之后,我们的模型训练就有以下目标了:

  1. 最大化正样本的概率,也就是正样本的相似度最大化

  2. 最小化负样本的概率,也就是负样本的相似度最小化

在整个训练集上,用数学表示出上面的目标就是:

640?wx_fmt=png

如果从单个训练数据对来看(一个 (t,c) 对和 k 个噪声 n1,n2,…,nk),就有:

640?wx_fmt=png

概率P由simoid函数计算,有:

640?wx_fmt=png

展开,有:

640?wx_fmt=png

可以看出,最大化上面的目标,就是最大化正样本 c⋅t,同时最小化负样本 ni⋅t。

有了上面的概率表示,那么我们就可以使用交叉熵作为损失函数,然后训练模型了。

值得注意的是,TensorFlow 里面把上面的两个过程合并了,合并在tf.nn.nce_loss这个函数里面。你可以看到 TensorFlow 的教程里面的损失函数就是使用的tf.nn.nce_loss作为损失函数。但是你继续追踪源码就会发现,这个损失函数只不过是:

  1. 进行采样,计算出概率

  2. 使用交叉熵计算损失

可见,和我们上面的训练分析过程是吻合的.

两个权重矩阵W和C

还记得我们上面 skip-gram 模型训练的最后一个要点 regression 的权重作为 embedding 吗?

其实,word2vec 训练之后会有两个权重矩阵,分别是嵌入矩阵 W 和上下文矩阵 C,回顾一下这张图:

640?wx_fmt=png


上图中的W权重矩阵就是我们的 embedding 矩阵,而 W′ 权重矩阵就是我们的 Context 矩阵.

如果我们要得到每一个单词的向量表示,只要从 W 中取出对应的行即可!因为,训练的每一个单词,都是用 one-hot 编码的,直接和 W 相乘即可得到改词的向量表示.

所以,整个 word2vec 模型就是一个浅层的神经网络.

我们训练结束后,得到的两个矩阵 W 和 C 怎么用呢?一般情况下,我们不需要使用 C,直接忽略掉即可。但是你也可以把两个矩阵相加,一起来表示新的N维嵌入表示,或者把他们合并,即 [W,C],用来创建一个新的2*N的嵌入表示。

文末

至此,我们把斯坦福课程关于矢量语义的主要内容解读完毕了。禅师知道,很多人肯定没看懂。没关系,别被这一大堆公式吓住了,我们可以先从简单的入手👇:

参考阅读《中文NLP用什么?中文自然语言处理的完整机器处理流程》

640?wx_fmt=png




640?wx_fmt=png

幸福
无非就是
我  AI  你


640?wx_fmt=gif

阅读更多
换一批

没有更多推荐了,返回首页