word2vec算法详解

###要解决问题：
在神经网络中学习将word映射成连续（高维）向量，这样通过训练，就可以把对文本内容的处理简化为K维向量空间中向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。

一、背景

Word2vec 是 Word Embedding 的方法之一。他是 2013 年由谷歌的 Mikolov 提出了一套新的词嵌入方法。

二、两种训练模式

CBOW(Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model)，是Word2vec 的两种训练模式。下面简单做一下解释：

1.CBOW

通过上下文来预测当前值。相当于一句话中扣掉一个词，让你猜这个词是什么。

2.Skip-gram

用当前词来预测上下文。相当于给你一个词，让你猜前面和后面可能出现什么词。

三、两种优化方法

1、Negative Sample（负采样）

2、Hierarchical Softmax

四、优点缺点

优点：

1.由于 Word2vec 会考虑上下文，跟之前的 Embedding 方法相比，效果要更好（但不如 18 年之后的方法）
2.比之前的 Embedding方 法维度更少，所以速度更快
3.通用性很强，可以用在各种 NLP 任务中

缺点：

1.由于词和向量是一对一的关系，所以多义词的问题无法解决。
2.Word2vec 是一种静态的方式，虽然通用性强，但是无法针对特定任务做动态优化