CBOW和Skip-Gram

神经概率语言模型中，将单词映射到词向量后，需要经过一个隐藏层，再输出层。word2vec为了简化计算，去掉了隐藏层，此外，使用了层次softmax或negative sampling。

CBOW与Skip-gram的比较：
CBOW训练速度更快
Skip-gram数据量较少，有生僻词的情况下，得到的词向量更准确
在 Google Groups 中，Milokov 提到：
“Skip-gram: works well with small amount of the training data, represents well even rare words or phrases

CBOW: several times faster to train than the skip-gram, slightly better accuracy for the frequent words

基于普通softmax的CBOW公式推导：
有个小不足，应该取平均，而非加和。 h = 1 C ∑ w 1 + w 2 ,