NLP-Word2vec

最新推荐文章于 2024-09-18 11:32:45 发布

胖头猫

最新推荐文章于 2024-09-18 11:32:45 发布

阅读量208

点赞数

分类专栏：算法

本文链接：https://blog.csdn.net/catfishH/article/details/118964326

版权

算法专栏收录该内容

14 篇文章 0 订阅

订阅专栏

Word2vec 是 Word Embedding 方式之一，将词转化为“可计算”“结构化”的向量，本质上是一种降维操作。
主要包含：CBOW（continuous bag-of-word）模型和 SG（skip-gram）模型，以及hierarchical softmax 和 negative sampling 两种参数优化技术。

One-word context

通过一个上下文单词（one context word）来预测一个目标单词（one target word）。将单词用 one-hot encoder 编码，通过乘两个权重矩阵，得到输出。实际上， $h=W^{T}X$ 相当于取了 W 的对应某行，而 $Y=Softmax(W'^{T}h)$ 相当于为原字典的每个单词计算了一个得分，得到单词的后验分布。
word2vec

Continuous Bag-of-Word（CBOW）

CBOW 本质上是用一个词语的上下文作为输入，来预测这个词语本身。首先将输入的上下文单词（context words）的向量叠加起来并取其平均值，接着与权重矩阵相乘得到隐藏层，再从隐藏层得到输出。
在这里插入图片描述

Skip-Gram

Skip-Gram 模型是根据中心单词（target word）来预测其上上下文信息（context words）。共用同一个 $W^{'}$ ，SG 模型在输出层输出了 C 个多项式分布。
(缺图片)
在这里插入图片描述

cbow 比 sg 训练快，sg 比 cbow 更好地处理生僻字。

Hierarchical Softmax

从隐藏层到输出的 softmax 层的计算量很大，因为要计算所有词的 softmax 概率，再去找概率最大的值。故而使用霍夫曼树来代替从隐藏层到输出 softmax 层的映射，沿着霍夫曼树从根节点一直走到我们的叶子节点的词w。
在这里插入图片描述

由于是二叉树，计算量从 V 变成了 log2V；霍夫曼树高频的词靠近树根，高频词需要更少的时间被找到。

Negative Sampling

输出向量的维度很高时，反向传播计算量非常巨大，故而每次只修改了其中一小部分 weight，而不是全部。根据词出现概率来选 negative sample，更常出现的词，更容易被选为 negative sample，被选中的概率为：
在这里插入图片描述

总结

优点：
会考虑上下文，跟之前的 Embedding 方法相比效果要更好；
比之前的 Embedding 方法维度更少，所以速度更快；
通用性很强，可以用在各种 NLP 任务中。
缺点：
由于词和向量是一对一的关系，所以多义词的问题无法解决；
是一种静态的方式，无法针对特定任务做动态优化。
资料：
《word2vec Parameter Learning Explained》论文学习笔记
 《基于神经网络的词和文档语义向量表示方法研究》