doufuxixi的博客

原创 [NLP]word2vec原理

Hierarchical SoftmaxCbow:    原理：用中心词作为预测的值（输出），输出可看做一个点，和其他点（词语）做区分，共同构成了一个霍夫曼树，要求Xw经过层次softmax函数，达到输出预测值概率最大。    用周围的词做输入，通过查表的形式，将原输入的one-hot编码形式转换为词向量形式，词向量表初始化时为随机值。然后简单相加，得到Xw    霍夫曼树建立，先将所有词按频率排...