tensorflow实现seq2seq模型细节（2）:tf.contrib.seq2seq.sequence_loss

最新推荐文章于 2024-06-27 00:19:02 发布
最新推荐文章于 2024-06-27 00:19:02 发布
阅读量3.7k 收藏 2
点赞数
分类专栏： ML&DL原理 文章标签： tensorflow seq2seq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37667364/article/details/90295977
版权

查看tensorflow源码其内部sequence_loss如果未指定softmax_loss_function使用的sparse_softmax_cross_entropy_with_logits

你也可以自己实现这个seq_loss:

使用这个tf.contrib.seq2seq.sequence_loss只需要传入masks。而单独使用这需要显式的写代码定义mask对sparse_softmax_cross_entropy_with_logits的操作，下面的loss是batch loss

outsider0007
关注
专栏目录
tf.contrib.seq2seq.sequence_loss example:seqence loss 实例代码
TensorFlowNews
08-08 1969
tf.contrib.seq2seq.sequence_loss example:seqence loss 实例代码#!/usr/bin/env python # -*- coding: utf-8 -*-import tensorflow as tfimport numpy as npparams=np.random.normal(loc=0.0,scale=1.0,size=[10,10])e
tf.contrib.seq2seq.sequence_loss 中logit和label shape不匹配报错
qq_42815385的博客
03-15 3536
在训练seq2seq网络时，单个gpu没有问题，但是当处理多个gpu并行时，问题来了： 在train时，总会报错： InvalidArgumentError (see above for traceback): logits and labels must have the same first dimension, got logits shape [12,737] and labels sha...
序列到序列模型（Seq2Seq）
最新发布
2201_75395747的博客
06-27 1756
本质上，注意力机制能够为表征中较有价值的部分分配较多的计算资源。这个有趣的想法自提出后得到了快速发展，特别是启发了依靠注意力机制来编码输入序列并解码出输出序列的变换器（Transformer）模型的设计 [2]。变换器抛弃了卷积神经网络和循环神经网络的架构。它在计算效率上比基于循环神经网络的编码器—解码器模型通常更具明显优势。含注意力机制的变换器的编码结构在后来的BERT预训练模型中得以应用并令后者大放异彩：微调后的模型在多达11项自然语言处理任务中取得了当时最先进的结果 [3]。
tensorflow contrib_Tensorflow中的Seq2Seq全家桶
weixin_39602637的博客
11-25 577
引言听说以后公司那边用 Tensorflow，最近就转回 Tensorflow学习一下，发现很久以前 Tensorflow 把 seq2seq 的接口又重新升级了一下，也加了一些功能，变成了一个物美价廉的全家桶（tf.contrib.seq2seq）。所以来感受一下，顺便做个记录除了最基本的 Seq2Seq 模型搭建之外，主要是对全家桶接口里的 Teacher Forcing，Attention，...
tf.contrib.seq2seq系列LSTMCell
wn87947的博客
08-31 1623
1.创建LSTMCell LSTMCell = tf.contrib.rnn.BasicLSTMCell(num_units) tf.nn.rnn_cell.BasicLSTMCell(num_units) BasicLSTMCell是最简单的一个LSTM类，没有实现clipping，projection layer，peep-hole等一些LSTM的高级变种，仅作为一个基本的basi...
Tensorflow Seq2Seq使用
qwexdl的博客
03-04 604
一、Helper类 1.1 简单介绍   目前Seq2Seq包含的Helper主要有TrainingHelper和GreedyEmbeddingHelper. TrainingHelper：如名字所说, 适用在训练阶段，功能是: Teacher Forcing. GreddyEmbeddingHelper: 适用在测试阶段。 1.2 参数结构 TrainingHelper tf.contrib.seq2seq.TrainingHelper(inputs, # (batch_size, seq
losses = tf.contrib.legacy_seq2seq.sequence_loss_by_example
03-29
It calculates the weighted cross-entropy loss for each element of the output sequence compared to the corresponding element of the target sequence. The loss_weights parameter is a list of weights for...
losses = tensorflow.leagcy_seq2seq.sequence_loss_by_example
05-20
正确的函数名称是 `tf.contrib.legacy_seq2seq.sequence_loss_by_example` 而不是 `tensorflow.leagcy_seq2seq.sequence_loss_by_example`。此外，`tf.contrib` 模块已经被废弃，建议使用新的模块 `tf.compat.v1`。...
tf.contrib.seq2seq.BahdanauAttention函数和tf.contrib.seq2seq.LuongAttention函数学习
hkzmz的博客
04-25 3992
tf.contrib.seq2seq.BahdanauAttention（）__init__(     num_units,     memory,     memory_sequence_length=None,     normalize=False,     probability_fn=None,     score_mask_value=None,     dtype=None,    ...
tensorflow中seq2seq模块的应用
爱丽丝咩咩章在好好学习
11-10 4598
  转载自：Tensorflow中的Seq2Seq全家桶 - 王岳王院长的文章 - 知乎 https://zhuanlan.zhihu.com/p/47929039 今天看了上面的这位作者的文章，感觉写的非常清楚   引言 听说以后公司那边用 Tensorflow，最近就转回 Tensorflow学习一下，发现很久以前 Tensorflow 把 seq2seq 的接口又重新升级了一下，也...
tensorflow中的sequence_loss_by_example
10-23 556
在编写RNN程序时，一个很常见的函数就是sequence_loss_by_example loss = tf.contrib.legacy_seq2seq.sequence_loss_by_example(logits_list, targets_list, weights_list, average_across_timesteps) 这个函数在contrib中的legacy（遗产）中...
sequence_loss_by_example和sequence_loss的逻辑
kdh的专栏
12-21 1156
先看sequence_loss的实现，在tensorflow 版本1.11.0里面，实现如下： def sequence_loss(logits, targets, weights, average_across_timesteps=True, ave...
tensorflow中sequence_loss_by_example()函数的计算过程（结合TF的ptb构建语言模型例子）
山不过来，我就过去
10-15 7754
1 softmax 2 交叉熵
版本升级：tensorflow2.0（自动程序版本变更脚本，tf网址，contrib)
执契的博客
09-10 8814
注意事项： 以前的网址是https://www.tensorflow.org/，现在fq都打不开！！ 现在新网址是https://tensorflow.google.cn/这个不fq都可以打开了，中文网站！ 将低版本tf代码自动升级为高版本 以前使用的tf1.13版本，现在换成了tf2.0，以前程序用不了了，例如下图中背景色的代码都是无法读取的 tf2.0更新了很多api，利用终端进...
tensorflow实现seq2seq:完整部分
outsider
07-03 3019
完整源码地址：https://github.com/colin0000007/seq2seq 源码中我将实现封装为了2个类，一个BasicSeq2SeqModel，一个AttentionSeq2SeqModel。前者包含了bi-rnn，beam search等特效，后者只是多了attention。下面详细讲讲BasicSeq2SeqModel。 1.训练数据 seq2seq数据分为源序列，目...
sequence_loss_by_example()函数在Tensorflow2.x找不到
weixin_55491232的博客
07-22 547
sequence_loss_by_example（）函数在tensorflow2.0以上版本无法直接使用，原本该函数保存在contrib模块中，如果想要直接使用该函数又不想将tensorflow降至1.x版本，可以将sequence_loss_by_example（）函数直接写入pycharm中，在开始import该.py文件即可。 1.在pycharm中新建seq_loss.py文件 2.写入代码 from six.moves import xrange # pylint: disable=re
seq2seq模型中最后的Loss该如何计算
zjm750617105的专栏
03-24 5662
#!coding=utf-8 import numpy as np import tensorflow as tf from tensorflow.contrib.seq2seq import sequence_loss ''' 为了探究 seq2seq 中的loss具体改如何计算, 依据的标准是 tensorflow.contrib.seq2seq.sequence_loss ''' # l...
【NLP】一文理解Seq2Seq
sikh_0529的博客
02-21 9674
Seq2Seq技术，全称Sequence to Sequence，该技术突破了传统的固定大小输入问题框架，开通了将经典深度神经网络模型（DNNs）运用于在翻译，文本自动摘要和机器人自动问答以及一些回归预测任务上,并被证实在英语－法语翻译、英语－德语翻译以及人机短问快答的应用中有着不俗的表现。
TF版本升级问题集合：成功解决由于不同的TensorFlow版本之间某些函数的用法引起的错误
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-31 1万+
TF版本升级问题集合：成功解决由于不同的TensorFlow版本之间某些函数的用法引起的错误 目录 遇到的问题以及对应解决方法 遇到的问题以及对应解决方法 Transitioning to TensorFlow 1.0 TensorFlow升级导致的错误，TensorFlow 1.0后与以前代码不兼容，所以要根据API去修改。 参照...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值