DL && NLP:Efficient Estimation ofWord Representations in Vector Space【Word2vec】notes
文章目的:
为了更好的表示词向量,在更低的计算复杂度(网络中的参数)情况下在大规模数据集上有更高的准确率。
文章方法:
基于NNLM的网络结构,去掉了参数计算量最大的隐藏层,用Huffman树分层softmax替换了softmax输出层,从而将复杂度降低到了log n。
文章结果:
对比于之前NNLM学到的词向量,这个学习词向量的结构更加简单,准确率更高;同时发现了词向量之间的加减运算具...
原创
2019-09-05 21:44:06 ·
186 阅读 ·
0 评论