- 博客(4)
- 收藏
- 关注
RSS订阅原创 HIerarchical Softmax 模型学习
一、CBOW CBOW是Continuous Bag-of-Words Model的缩写，是一种根据上下文的词语预测当前词语出现的概率的模型 输入层是上下文的词语的词向量，在训练cbow模型，词向量只是一个副产品，确切的来说，是cbow模型的一个参数。训练开始的时候，词向量是个随机值，随着训练队的进行不断更新。 投影层对其求和，所谓求和，就是简单的向量加法。 输出层输出最可能的w。由于词料库中词汇量是固定的|c|个，所以上述过程其实可以看做一个多分类问题。给定特征，从|c|个分类中挑一个。
2023-03-09 16:06:46
67
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人