tf39：tensorflow之seq2seq

最新推荐文章于 2021-03-04 20:56:57 发布
最新推荐文章于 2021-03-04 20:56:57 发布
阅读量834 收藏
点赞数
分类专栏： 机器学习 Deep learning TensorFlow练习汇总 文章标签： Tensorlfow Tensorflow实现seq2seq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014365862/article/details/80624869
版权
TensorFlow练习汇总 同时被 3 个专栏收录
49 篇文章 117 订阅 ¥39.90 ¥99.00
订阅专栏
机器学习
292 篇文章 18 订阅
订阅专栏
Deep learning
175 篇文章 13 订阅
订阅专栏
本文介绍了TensorFlow实现的seq2seq模型，该模型广泛应用于翻译、图像标题生成和多标签问题。提供了相关代码解读链接以及GitHub资源，帮助读者深入理解并实践seq2seq模型。
摘要由CSDN通过智能技术生成

 

MachineLP的Github（欢迎follow）：https://github.com/MachineLP

MachineLP的博客目录：小鹏的博客目录

seq2seq还是很赞的，既能做翻译、又能做image captioning，还能做多标签。

相关代码解读可以查看：

（1） https://zhuanlan.zhihu.com/p/48426550

（2） https://zhuanlan.zhihu.com/p/52608602

手撕seq2seq：https://github.com/zhangluoyang/text_sum/blob/master/seq2seq_attention_model.py

原理介绍已经有很多了，那我们在看一下TF的seq2seq代码吧：

# coding=utf-8
import tensorflow as tf
import numpy as
了解本专栏 订阅专栏 解锁全文
MachineLP
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
beam search的tensorflow实现
Talk Is Cheap
11-20 4213
https://github.com/vahidk/EffectiveTensorflow#beam_search
从头实现一个深度学习的对话系统--tf.contrib.seq2seq API介绍
呜呜哈的博客
01-12 7807
这篇文章就简单从源码的角度上分析一下tf.contrib.seq2seq下提供的API，首先来讲这个文件夹下面的几个文件和函数上篇文章中都已经提到而且介绍了他们之间的关系和如何使用，如果对源码不感兴趣就不用看下去了~~ BasicDecoder和dynamic_decode 为了简单起见，从decode的入口dynamic_deocde函数开始分析： dynamic_deco
【中文分词系列】 4. 基于双向LSTM的seq2seq字标注
cdj0311的专栏
12-27 2611
转载：https://spaces.ac.cn/archives/3924/ 关于字标注法 上一篇文章谈到了分词的字标注法。要注意字标注法是很有潜力的，要不然它也不会在公开测试中取得最优的成绩了。在我看来，字标注法有效有两个主要的原因，第一个原因是它将分词问题变成了一个序列标注问题，而且这个标注是对齐的，也就是输入的字跟输出的标签是一一对应的，这在序列标注中是一个比较成熟的问题；第二个
【自然语言处理】tf.contrib.seq2seq.BasicDecoder源码解析
一起来书写我们的青春
06-11 5677
前言 tf.contrib.seq2seq.dynamic_decode源码分析本文衔接上文。 首先tf.contrib.seq2seq.dynamic_decode主要作用是接收一个Decoder类，然后依据Encoder进行解码，实现序列的生成（映射）。其中，这个函数主要的一个思想是一步一步地调用Decoder的step函数（该函数接收当前的输入和隐层状态会生成下一个词），实现最后的一句话的...
【自然语言处理】tf.contrib.seq2seq.TrainingHelper源码解析
一起来书写我们的青春
08-12 3549
前言 本文衔接tf.contrib.seq2seq.dynamic_decode源码分析以及tf.contrib.seq2seq.BasicDecoder源码解析。除了TrainingHelper后面还会介绍到GreedyEmbeddingHelper
tf-seq2tree:tensorflow版本的seq2tree模型实现
05-02
**tf-seq2tree: TensorFlow 实现的序列到树模型** `tf-seq2tree` 是一个基于 TensorFlow 框架实现的序列到树（Sequence-to-Tree）模型。序列到树模型是一种深度学习方法，主要用于处理序列数据到树结构的转换任务，...
tf-seq2seq：使用TensorFlow进行序列到序列学习
02-03
TF-seq2seq使用TensorFlow进行序列到序列（seq2seq）学习。 核心构建块是RNN编码器-解码器体系结构和注意机制。 该软件包主要使用最新的（1.2）tf.contrib.seq2seq模块实现注意包装解码器基本解码器...
seq2seq样例.rar_seq2seq_tensorflow_熵 预测
09-23
在TensorFlow中，可以使用`tf.contrib.seq2seq`模块来构建Seq2Seq模型。这个模块提供了一些预定义的函数和类，如`BasicRNNCell`、`LSTMCell`和`GRUCell`，它们分别对应基本的循环神经网络单元。同时，`dynamic_...
tf_seq2seq_chatbot：[未维护]
02-06
tensorflow seq2seq聊天机器人注意：不维护存储库。 如果您想承担维护费用，请随时与我联系。 基于在tensorflow中实现的热方法构建通用对话聊天。 由于到目前为止效果不佳，因此请考虑其他实现。 当前结果非常糟糕：...
基于Python seq2seq模型的简单对话系统的tf实现【100012378】
最新发布
05-24
本项目利用TensorFlow（简称tf）框架实现了一个基于seq2seq（sequence to sequence）模型的简单对话系统，该系统包含了embedding、注意力机制（attention）以及beam_search等关键组件，旨在模拟人类对话，提升机器...
Python-RLSeq2Seq用于SequencetoSequence模型的深度强化学习
08-11
Deep Reinforcement Learning For Sequence to Sequence Models
【自然语言处理】tf.contrib.seq2seq.dynamic_decode源码分析
一起来书写我们的青春
06-02 8526
前段时间因为自己的任务，看了好久的seq2seq的源码，了解了它的内部机制。现分享一波源码解析给大家以共勉。 首先tf.contrib.seq2seq.dynamic_decode主要作用是接收一个Decoder类，然后依据Encoder进行解码，实现序列的生成（映射）。其中，这个函数主要的一个思想是一步一步地调用Decoder的step函数（该函数接收当前的输入和隐层状态会生成下一个词），实现最后的一句话的生成。该函数类似tf.nn.dynamic_rnn。
tf.tile() 和 tf.contrib.seq2seq.tile_batch()
zjm750617105的专栏
01-03 1941
简单介绍这两个函数的基本用法, 以及区别. 以及在 BeamSearch 的时候用哪个? # 将input的某一维度复制多少次, len(input.shape()) 等于 len(multiples) # tf.tile(input, multiples, name=None) t = tf.constant([[1, 1, 1, 9], [2, 2, 2, 9], [7, 7, 7, 9]]...
tf.contrib.seq2seq.dynamic_decode 返回值的shape 巨坑
jmhIcoding
12-21 1396
tf.contrib.seq2seq.dynamic_decode 这个函数真的是巨坑啊，每一个batch，他的rnn_output的形状居然会是： [batch_size, max_efficient_sentence across entire batch, num_classes] ，而不是我们想要的每个序列应该有的最大长度，尽管我们在TrainingHelper里面指定了Sequence_...
Tensorflow Seq2Seq使用
qwexdl的博客
03-04 599
一、Helper类 1.1 简单介绍   目前Seq2Seq包含的Helper主要有TrainingHelper和GreedyEmbeddingHelper. TrainingHelper：如名字所说, 适用在训练阶段，功能是: Teacher Forcing. GreddyEmbeddingHelper: 适用在测试阶段。 1.2 参数结构 TrainingHelper tf.contrib.seq2seq.TrainingHelper(inputs, # (batch_size, seq
Tensorflow新版Seq2Seq接口使用
热门推荐
thriving_fcl的博客
07-02 4万+
Tensorflow 1.0.0 版本以后，开发了新的seq2seq接口，弃用了原来的接口。旧的seq2seq接口也就是tf.contrib.legacy_seq2seq下的那部分，新的接口在tf.contrib.seq2seq下。新seq2seq接口与旧的相比最主要的区别是它是动态展开的，而旧的是静态展开的。
深度学习的seq2seq模型
weixin_33709364的博客
09-07 1782
从rnn结构说起 根据输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。如下图， one to one 结构，仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。 one to many 结构，给一个输入得到一系列输出，这种结构可用于生产图片描述的场景。 many to one 结构，给一系列输入得到一个输出，这种结构可用于文本情感分析...
tf.contrib.seq2seq系列LSTMCell
wn87947的博客
08-31 1615
1.创建LSTMCell LSTMCell = tf.contrib.rnn.BasicLSTMCell(num_units) tf.nn.rnn_cell.BasicLSTMCell(num_units) BasicLSTMCell是最简单的一个LSTM类，没有实现clipping，projection layer，peep-hole等一些LSTM的高级变种，仅作为一个基本的basi...
seq2seq model
weixin_48354103的博客
06-12 452
原文链接: link. 把Seq2Seq模型打包的库。安装： sudo pip install git+https://github.com/farizrahman4u/seq2seq.git Requirements: Keras Recurrent Shop 主要包括的模型： 1. A simple Seq2Seq model: import seq2seq from seq2seq.models import SimpleSeq2Seq model = SimpleSeq2Seq(input_
tf.seq2seq.AttentionWrapper tensorflow v2
05-18
在 TensorFlow 2.x 中，tf.contrib.seq2seq.AttentionWrapper 已被弃用。相反，可以使用 tf.keras.layers.Attention 类来实现注意力机制。 下面是一个使用 tf.keras.layers.Attention 的示例： ```python import tensorflow as tf # 定义一个 Attention 层 attention = tf.keras.layers.Attention() # 输入序列的形状为 (batch_size, seq_len, embedding_dim) encoder_inputs = tf.keras.Input(shape=(None, embedding_dim)) decoder_inputs = tf.keras.Input(shape=(None, embedding_dim)) # 编码器 LSTM 层 encoder_lstm = tf.keras.layers.LSTM(units=hidden_size, return_sequences=True, return_state=True) encoder_outputs, state_h, state_c = encoder_lstm(encoder_inputs) # 解码器 LSTM 层 decoder_lstm = tf.keras.layers.LSTM(units=hidden_size, return_sequences=True, return_state=True) decoder_outputs, _, _ = decoder_lstm(decoder_inputs, initial_state=[state_h, state_c]) # 注意力机制 context_vector, attention_weights = attention([decoder_outputs, encoder_outputs]) # 输出层 output = tf.keras.layers.Dense(vocab_size, activation='softmax')(context_vector) # 定义模型 model = tf.keras.Model(inputs=[encoder_inputs, decoder_inputs], outputs=output) ``` 在上面的代码中，我们首先定义了一个 tf.keras.layers.Attention 层。然后，我们定义了编码器和解码器 LSTM 层，并使用它们分别对编码器输入和解码器输入进行编码。 接下来，我们使用注意力层对解码器输出和编码器输出进行注意力计算，得到上下文向量和注意力权重。 最后，我们使用一个全连接层对上下文向量进行预测，得到输出结果。 希望这个例子可以帮助你理解如何在 TensorFlow 2.x 中使用注意力机制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MachineLP

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值