NLP中文词向量训练：word2vec（Negative Sampling）

一.基于Hierarchical Softmax的word2vec模型的缺点

Hierarchical Softmax ，使用霍夫曼树结构代替了传统的神经网络，可以提高模型训练的效率。但是如果基于Hierarchical Softmax的模型中所以词的位置是基于词频放置的霍夫曼树结构，词频越高的词在离根节点越近的叶子节点，词频越低的词在离根节点越远的叶子节点。也就是说当该模型在训练到生僻词时，需要走很深的路径经过更多的节点到达该生僻词的叶子节点位置，这样在训练的过程中，会有更多的θ_i向量要更新。

二.Negative Sampling模型

Negative Sampling是word2vec模型的另一种方法，采用了Negative Sampling（负采样）的方法来求解。

Negative Sampling与Hierarchical Softmax最大的不同它放弃了投影层到输出层的霍夫曼树结构，以CBOW模型训练为例，Negative Sampling每次选取一个中心词是w_0，若负采样别的词w_i,i=1,2,3…neg（一般neg值很小，不超过10），和他周围上下文共有2c个词，记为context(w)。其中中心词与context（w_0）相关，所以以context（w_0）作为输入，中心词w_0作为输出是一个正例。而context（w_0）作为输入，与每个w_i并不真实与输入相关的词作输出构成了neg个负例。一共有neg+1个训练样本来训练，这种训练方式就叫做Negative Sampling（负采样）训练。利用这一个正例和neg个负例进行二元逻辑回归，每次迭代都更新了θ_i&#x