词转化为向量方法

词转化为向量方法

1. 背景

文本向量化又称为 “词向量模型”、“向量空间模型”，即将文本表示成计算机可识别的实数向量， 根据粒度大小不同，可将文本特征表示分为字、词、句子、篇章几个层次
文本向量化方法一般称为词嵌入(word embedding)方法，词嵌入这个说法很形象，就是把文本中的词嵌入到文本空间中， 用一个向量来表示词
一句话概述，Word Embedding即词向量，是一种函数映射关系。我们知道，在机器学习中，特征都是以数值的形式进行传递的。同样的，在NLP中，文本特征也需要被映射成数值向量。例如，我们将单词“你好”进行Word Embedding后，可以把其映射成一个5维向量：你好 ——> (0.1, 0.5, 0.3, 0.2, 0.2)

2. 词向量映射过程

一般来说，我们采用“词 ——> 向量空间1 ——> 向量空间2”的映射过程实现文本单词向量化。整个映射过程可以分为两步

• 第一步，将文本中的单词映射到向量空间1中。
• 第二步，将向量空间1中的向量映射到向量空间2中。

3. 常见方法详解

• Word2Vec两种模型的大致印象刚才也提到了，Word2Vec包含了两种词训练模型：CBOW模型和Skip-gram模型。
  • CBOW模型根据中心词W(t)周围的词来预测中心词。
  • Skip-gram模型则根据中心词W(t)来预测周围词。

4. 总结

本文对Word Embedding原理和生成方法进行了讲解，对Word Embedding生成过程中的相关问题进行了解答，希望能帮助读者提升Word Embedding的实践效率。