Word2vec原理及其Python实现

目录

一、为什么需要Word Embedding

二、Word2vec原理

1、CBOW模型

2、Skip-gram模型

三、行业上已有的预训练词向量

四、用Python训练自己的Word2vec词向量

---

一、为什么需要Word Embedding

在NLP（自然语言处理）里面，最细粒度的是词语，词语组成句子，句子再组成段落、篇章、文档。所以要处理 NLP 的问题，首先就要拿词语开刀。

举个简单例子，判断一个词语的情感，是积极还是消极。用机器学习的思路，我们有一系列样本(x,y)，这里 x 是词语，y 是它们的情感类别，我们要构建 f(x)->y 的映射，但这里的数学模型 f（比如神经网络、SVM）只接受数值型输入，而 NLP 里的词语，是人类的抽象总结，是符号形式的（比如中文、英文、拉丁文等等），所以需要把他们转换成数值形式，或者说——嵌入到一个数学空间里，这种嵌入方式，就叫词嵌入（word embedding)，而 Word2vec ，就是词嵌入（ word embedding) 的一种。

也就是说，我们要怎么把一堆计算机不认识的词语表示成它认识的，从而继续为我们人类服务，达到人类的目的？这个途径就是词嵌入（word embedding）：把人类理解的词语表示成在数学空间里的“词语”