分层softmax_层次softmax

如下图的架构，在进行最优化的求解过程中：从隐藏层到输出的softmax层的计算量很大，因为要计算所有词的softmax概率，再去找概率最大的值。

1) cbow的对周围词的调整是统一的：求出的gradient的值会同样的作用到每个周围词的词向量当中去。那么，cbow预测行为的次数跟整个文本的词数几乎是相等的(每次预测行为才会进行一次backpropgation, 而往往这也是最耗时的部分)，复杂度大概是O(V);

2)Skip-gram 中，每个词在作为中心词时，都要使用周围词进行预测一次。这样相当于比cbow的方法多进行了K次(假设K为窗口大小)，因此时间的复杂度为O(KV)，训练时间要比cbow要长。

word2vec原理

基于Hierarchical Softmax的模型:

输入层到隐层：所有输入词向量求和并取平均的方法。

隐层到输出层：从隐藏层到输出的softmax层这里的计算量个改进，也就是层次softmax。由于我们把之前所有都要计算的从输出softmax层的概率计算变成了一颗二叉霍夫曼树，那么我们的softmax概率计算只需要沿着树形结构进行就可以了。如下图所示，我们可以沿着霍夫曼树从根节点一直走到我们的叶子节点的词w2。

和之前的神经网络语言模型相比，我们的霍夫曼树的所有内部节点就类似之前神经网络隐藏层的神经元,其中，根节点的词向量对应我们的投影后的词向量，而所有叶子节点就类似于之前神经网络softmax输出层的神经元，叶子节点的个数就是词汇表的大小。在霍夫曼树中，隐藏层到输出层的softmax映射不是一下子完成的，而是沿着霍夫曼树一步步完成的，因此这