lstm 根据前文预测词_用LSTM-ptb模型张量流examp预测下一个词

本文档描述了使用TensorFlow实现的LSTM模型进行下一个单词预测的过程。作者遇到的问题在于理解如何从LSTM输出的概率向量中提取预测的单词。他们观察到概率向量的形状与LSTM的步数相关,而不仅仅是词汇表大小。文章询问是否应该仅使用最后一个值作为预测,还是需要进一步的操作。
摘要由CSDN通过智能技术生成

我试图使用tensorflowLSTM model来进行下一个单词的预测。

如本related question(没有可接受的答案)中所述,示例包含伪代码以提取下一个单词的概率:lstm = rnn_cell.BasicLSTMCell(lstm_size)

# Initial state of the LSTM memory.

state = tf.zeros([batch_size, lstm.state_size])

loss = 0.0

for current_batch_of_words in words_in_dataset:

# The value of state is updated after processing each batch of words.

output, state = lstm(current_batch_of_words, state)

# The LSTM output can be used to make next word predictions

logits = tf.matmul(output, softmax_w) + softmax_b

probabilities = tf.nn.softmax(logits)

loss += loss_function(probabilities, target_words)

我对如何解释概率向量感到困惑。我修改了ptb_word_lm.py中PTBModel函数的__init__以存储概率和登录:class PTBModel(object):

"""The PTB model."""

def __init__(self, is_training, config):

# Gener

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值