Tensorflow小技巧整理:tf.multinomial()采样

tf.multinomial()做生成任务时,得到 decoder 最终的输出之后,就需要决策选如何利用得到的输出张量进行生成。tf.argmax()是最简单最粗暴的一种方法,直接选取概率最大的词汇作为输出。beam search 等算法的出现,使得生成的结果有了更多的可能性。最近看到一段代码,使用的是 tf.multinomial() 进行采样,也尝试用了一下。tf.multinomial(...
摘要由CSDN通过智能技术生成

tf.multinomial()

做生成任务时,得到 decoder 最终的输出之后,就需要决策选如何利用得到的输出张量进行生成。tf.argmax()是最简单最粗暴的一种方法,直接选取概率最大的词汇作为输出。beam search 等算法的出现,使得生成的结果有了更多的可能性。最近看到一段代码,使用的是 tf.multinomial() 进行采样,也尝试用了一下。

tf.multinomial(logits, num_samples, seed=None, name=None)

logits是一个二维张量,num_samples指的是采样的个数。其实很好理解,我们生成每个时刻的 logits 时,输出维度应该是 [ batch_size, vocab_size ] 形式的,代表着该时刻,每一个batch对应的词典中各词汇生成的概率。tf.multinomial() 将按照该概率分布进行采样,返回的值是 logits 第二维上的 id,也就是我们需要的字典的 id。
举个例子:

比如每次将从5个候选词汇中采样,概率分布如图所示,采样个数为100,统计一下结果如下:
可以看到,第一个词和最后一个词的采样次数会高很多,而概率为 0.05 的第二个词和第三个词则很少被
  • 9
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值