本文讨论了在Word2Vec模型中，为何输入和输出向量使用单独的矩阵。通过udacity的教程，作者解释了输入向量$ w_i $（如'the', 'cat', 'on', 'mat'）用于预测输出向量$ w_o $（如'sat'），并通过采样softmax实现。训练完成后，每个词都有一个输入向量和一个输出向量。虽然可以考虑使用同一矩阵，但作者并未这样做，并分享了一个实现链接，结果显示这种方法仍然有效。现在的问题是是否存在数学上的理由来解释为什么输出矩阵需要独立于输入矩阵。"
126558299,11153843,Python办公自动化：Word文档处理实战,"['Python', '办公自动化', '文档处理']
通过关于udacity的word2vec教程，从文章中可以看出，输入字向量和输出有单独的矩阵 .
例如 . ['the','cat','sat','on','mat'] . 这里输入向量$ w_i $， 'the','cat','on','mat' 将预测 'sat' 的输出向量$ w_o $ . 它通过如下所示的采样softmax来实现，其中 |context| 是上下文字的大小(在这种情况下为4) .
因此，一旦完成训练，可能有两个矢量用于 sat 作为输入矢量，另一个矢量用于输出矢量 . The question is why not have one matrix . 这将确保对齐相同单词的输入和输出向量 .
如果有帮助，张量流代码附在 (why not set softmax_weights = embedding and softmax_biases=0) 下面：
# Variables.
embeddings = tf.Variable(tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0))
softmax_weights = tf.Variable(tf.truncated_normal([vocabulary_size, embedding_size],
stdd
最低0.47元/天 解锁文章
扫一扫
832
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
