分层softmax

分层softmax

输出层变成一颗树形二叉树，其实，输出层有V-1个节点 （二叉树的内部节点，V是词汇表单词数），映射层输出：X_w与每个中间节点相连，和普通全连接类似。只不过在计算概率的时候，采用了计算从二叉树根节点到目标词的概率，就是选择了路径对应的输出节点来计算概率。


d_w,j就是目标词第w对应路径的第j各节点是做还是右，θ_w，j是输出节点对应的权值。

交叉熵知

交叉熵是一个信息论中的概念，它原来是用来估算平均编码长度的。给定两个概率分布p和q，通过q来表示p的交叉熵为：

注意，交叉熵刻画的是两个概率分布之间的距离，或可以说它刻画的是通过概率分布q来表达概率分布p的困难程度，p代表正确答案，q代表的是预测值，交叉熵越小，两个概率的分布约接近。