Word Embedding:负样本损失函数结果异常
Word Embedding:负样本损失函数结果异常
实验环境
框架:tensorflow
模型选择:CBOW+NCE loss
单词个数:30000
问题描述
NCE损失函数表示如下:
Jθ=−∑w∈V(logP(y=1|x)+∑i=1klogP(y=0|x(w(i))))
J_\theta = - \sum\limits_{w \in V} {\left( {\log P\left(
原创
2017-06-02 10:30:50 ·
2332 阅读 ·
1 评论