一图看懂tf.nn.embedding_look函数内部运算过程

下图是本人亲笔画的示意图,忽略我不堪入目的字,内容最重要。大笑

下图是在我看《Tensorflow实战》这本书的Tensorflow实现LSTM的语言模型这一节过程中画的,主要是结合此例,用wi表示单词,wi的向量表达方式我以自己的理解方式举得例子,比如w1为[1,0,0,...,0,0]; w2为[0,1,0,...,0,0]; w3为[0,0,1,...,0,0] 等等。

tf.nn.embedding_look(embedding, input_.input_data)函数主要含义就是input_data相当于词向量索引,在词汇表embedding中找出input_data中的单词的向量表达方式。

batch_size表示批大小;

num_steps表示迭代步数;

vocab_size表示词汇表中单词个数;

hidden_size表示LSTM隐藏层单元数;

embedding的列表示每个单词向量表达的维度,此例中设为和LSTM隐藏层单元数一致为hidden_size;


阅读更多

没有更多推荐了,返回首页