Word2Vec
概述
Word2Vec是一种广泛使用的词嵌入技术,它能够将单词表示为连续向量,将语义上相似的词映射到相近的向量空间。Word2Vec模型是由Tomas Mikolov等人于2013年提出的,它基于分布式假设,即上下文相似的单词具有相似的含义。
Word2Vec模型有两个主要的实现算法:连续词袋模型(Continuous Bag of Words,简称CBOW)和Skip-gram。CBOW模型试图从上下文预测目标词,而Skip-gram模型则相反,它从目标词预测上下文。这两种模型都使用了神经网络来学习词向量。
原理
CBOW模型
CBOW模型的核心思想是从上下文词汇预测目标词汇。具体步骤如下:
- 构建训练数据:将文本数据转化为一对上下文-目标词汇的形式,上下文是目标词汇的周围词汇。
- 创建神经网络:CBOW模型的神经网络有一个隐藏层,隐藏层的神经元数目称为嵌入维度。输入层的大小等于上下文词汇的个数乘以嵌入维度,输出层的大小等于词汇表的大小。
- 训练模型:使用训练数据来训练神经网络,通过最小化预测词汇与目标词汇之间的差异来调整模型的参数。
- 提取词向量:训练完成后