tensorflow-seq2seq-Attention

最新推荐文章于 2024-07-28 11:52:14 发布
最新推荐文章于 2024-07-28 11:52:14 发布
阅读量2.9k 收藏 12
点赞数 5
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42724775/article/details/81094429
版权
本文介绍了使用TensorFlow构建Seq2Seq模型的基础知识，包括编码器、解码器的构建，并简述了文本处理过程。文章强调了在处理长文本时，使用双向动态RNN以提升效果。此外，还讨论了Decoder中的Helper类，如TrainingHelper和GreedyEmbeddingHelper，并提到添加注意力机制以提高模型性能。
摘要由CSDN通过智能技术生成

初学tensorflow, 发现网上坑太多了,各种版本的滞后,一下代码这样写,一下代码那样写~~很多都是老的书写方式! 走了许许多多的弯路,所以想整理一下最新的版本来梳理一下,也可以自己未来回顾的时候有个参考!

注: 现在最新版本是 tensorflow1.9 的版本, 我自己安装的是 1.8的! 所以本文代码肯定适用1.8版本!  1.9应该也适用~~并没有多少改动这方面的代码

 

tensorflow是什么么,基础的概念我就不重复了,一点都不懂的请去看基础教程自己学习! 本文主要以seq2seq 做NLP方面的讲解, 如果你也跟我一样是从  普通神经网络--卷积神经网络--循环神经网络的步骤走过来的话, 一些基本概念应该也都能明白

做初级的 NLP 主要分为以下几个步骤:

1. sample 文本数据的处理
2. seq2seq encoder
3. seq2seq decoder
4. train model
5. prediciting
 

本文跳过文本处理的代码阶段,主要讲 encoder decoder的构建方面, 文本方面的处理会稍微带过一下

一、文本处理

首先你需要有一些sample的数据,可能是英文、中文等等各种文本,里面也可能有各种符号等等

比如聊天机器人的文本, 第一行是问,第二行是答, 第三行是问,第四行是答 这样依此类推下去, 你要做的就是讲这个文本进行处理,无论使用 python的基本语法还是用一些python工具模块 nltk 等来处理文本,最终要讲文本处理成  input_source , output_target这样两个大类,  input_source 就是所有问的语句 一行代表一句问.   output_target就是所有答的语句 也是一行一句答. 类似于基本的神经网络里  X,  Y 这样的数据! 当然分好后,你还要对input_source output_target做一些处理 比如取掉一些没用的特殊字符等,就是要保留纯英文(中午)等,还有记得去除每个行尾巴的 '\n'符号

这时候 你经过处理的到了纯净的 input_source, output_target  然后你就要用这两个内容去做 word_to_int   int_to_word这两个方面的转换了 source 和target都要做这方面的转换  然后你的到 input_source_int    output_target_int 类似这样的 纯数字的东西~~ 也是一样的 一行就代表一个sample 一个target 这样的数据就可以 用到 encoder decoder里面了!

文本处理方面不是本文重点,只是讲了大概要做的处理 最终就是讲文本变成 [1,32,4123,4121,53,56,78......] 类似这样的东西 因为每句话的长度大小都不一定,以及一些其他问题 所以这时候就会有 <PAD>, <UNK>,<EOS>,<GO>这些特殊的符号也要加入进来 当然这些特殊的符号也是转换成特定的数字加入到 input_source_int    output_target_int里面来! 详细的操作代码方面,我下回有空了整理一下 专门开一篇文章来介绍如何处理.

二、seq2seq encoder

seq2seq 的原理本文就不介绍了,相信有太多的文章会很详细的介绍,然后画一大堆图以及数学公式来告诉你如何实现, 那些数学公式基本上数学差的人是看不懂的,看懂了也记得不~~~ 所以本文主要从代码方面介绍, 详细的理论方面请google~~~

seq2seq 分为两大部分, 一个是encoder部分 另一个是decoder部分,我们先讲encoder部分:

def get_encoder_layer(input_data, source_vocab_size,encoding_embedding_size,rnn_size,source_sequence_length, num_layers):
    encoder_embed_input = tf.contrib.layers.embed_sequence(input_data, source_vocab_size, encoding_embedding_size)

    def get_signle_cell(rnn_size):
        cell = tf.contrib.rnn.LSTMCell(rnn_size)
        return cell

    rnn_cell = tf.contrib.rnn.MultiRNNCell([get_signle_cell(rnn_size) for _ in range(num_layers)])

    encoder_output,encoder_state = tf.nn.dynamic_rnn(rnn_cell,encoder_embed_input,source_sequence_length, dtype=tf.float32)

    return encoder_output, encoder_state

上面这部分代码就是encoder层的全部代码了~~ 各个参数当然是之前定义好的 我这里讲解一下

input_data  就是通过batch的 input_source_int

最低0.47元/天 解锁文章
李小米多
关注
专栏目录
什么是seq2seq
li123128的博客
08-30 782
　　1. 什么是seq2seq 　　 　　在⾃然语⾔处理的很多应⽤中，输⼊和输出都可以是不定⻓序列。以机器翻译为例，输⼊可以是⼀段不定⻓的英语⽂本序列，输出可以是⼀段不定⻓的法语⽂本序列，例如： 　　 　　英语输⼊：“They”、“are”、“watching”、“.” 　　 　　法语输出：“Ils”、“regardent”、“.” 　　 　　当输⼊和输出都是不定⻓序列时，我们可以使⽤编码器—解码...
Seq2Seq+Attention 的 tensorflow-1.14 实现
王大呀呀的博客
04-13 429
attention 的原理自己找，这里只展示原理，用来进行翻译，所用到的相似度计算方法，这里用到了如图所示的方法，这张图说明了 decoder 到 s0 步时，s0 输出和 encoder 的所有时间步输出 hi 的相似度方法。 import tensorflow as tf import numpy as np tf.reset_default_graph() # 创造了 3 个简单的样本，每个样本的输出和输出都直接给出，只为说明原理，实际数据处理类似拼接起始符号、结束符号、占位符 sentences
序列到序列学习（Seq2seq）
最新发布
qq_58317297的博客
07-28 704
（3）在选候选句子的时候，长句子往往预测的概率会更小一点，为了平衡选择的概率，有机会能尝到有机会能选到长一点的句子，通常是取一个log再取l的阿尔法次饭分之1去调整长句子的概率。这个向量空间是通过训练数据学习到的，向量的维度通常远小于词汇表的大小，生成的向量是密集的，维度通常远小于。（3）编码器通过选定的函数q， 将所有时间步的隐状态转换为上下文变量（但我们的例子里面，上下文变量仅仅是输入序列在最后时间步的隐状态hT。# 输出'X'的形状：(batch_size,num_steps,embed_size)
seq2seq and attention 入门并在tensorflow中使用
旭峰的博客
07-13 7191
Seq2Seq and Attention 汇总理解 参考文献 [1] Cho 在 2014 年在论文《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》中提出 Encoder–Decoder 结构 [2] Sutskever et al...
[Note] TensorFlow seq2seq tutorial
spritzdance的专栏
02-25 2379
[Note] TensorFlow seq2seq tutorial TensorFlow 官方教學的其中一部分，是對 seq2seq 雙語翻譯模型的理論基礎及操作過程，提供簡介及說明。 該模型的目標，是將「英文」翻譯為「法文」 (Source Language: English / Target Language: French)； 以下為近期閱讀及操作之後的中文筆記，將會繼續不定期補充內
Seq2Seq in Tensorflow
liuyuemaicha的专栏
12-13 3344
Tensor flow中自带的seq2seq，这么经典的encoder-decoder模型，网上都没有相关的详细介绍。花了一个星期的时间，整理了该模型的详细架构。感兴趣的可以看一下。后面抽时间再把代码注释一下，本博主从来不玩虚的，注释的会很详细，有打算入手的期待一下吧。^-^ 这段时间一直忙着做Dialogue Generation相关的实验，刚刚入手，拿了tensorflow现有的seq2seq
Tensorflow-seq2seq-from-scratch:该存储库包含各种seq到seq模型的示例代码
04-30
**TensorFlow Seq2Seq模型详解** Seq2Seq（Sequence to Sequence）模型是一种在自然语言处理领域广泛应用的深度学习架构，尤其在机器翻译、文本摘要、对话系统等方面具有显著优势。这个名为"Tensorflow-seq2seq-...
tensorflow-chatbot-chinese:网页聊天机器人| tensorflow implementation of seq2seq model with bahdanau attention and Word2Vec pretrained embedding
05-15
:person_running: [中文聊天机器人]具有bahdanau注意和Word2Vec预训练嵌入的seq2seq模型的Tensorflow实现 此基于撰写的。 如何 [选项1]重新训练模型 $ git clone ...
i6-seq2seq:在TensorFlow中测试不同的seq2seq模型以及神经传感器的实现
05-15
《深入探索TensorFlow中的Seq2Seq模型与神经传感器实现》 Seq2Seq（Sequence-to-Sequence）模型是一种在自然语言处理、机器翻译等领域广泛应用的深度学习模型，它能够处理序列到序列的转换任务，如文本翻译、对话...
从头实现一个深度学习对话系统--tensorflow Seq-to-Seq API介绍和源码分析
呜呜哈的博客
12-20 6742
上一篇文章中我们已经分析了各种seq2seq模型，从理论的角度上对他们有了一定的了解和认识，那么接下来我们就结合tensorflow代码来看一下这些模型在tf中是如何实现的，相信有了对代码的深层次理解，会在我们之后构建对话系统模型的时候有很大的帮助。tensorflow版本升级之后把之前的tf.nn.seq2seq的代码迁移到了tf.contrib.legacy_seq2seq下面，其实这部分API
seq2seq
夜阑卧听风吹雨，铁马是你，冰河也是你。
02-23 150
真正的完全图解Seq2Seq Attention模型
Seq2Seq
在人生的舞台上，从不给落伍者颁发奖牌！
01-29 661
文章目录EmbeddingWord Embedding词向量---One-HotOne-Hot骤如下：One-hot表示文本信息的缺点： Embedding Embedding能够用低维向量对物体进行编码还能保留其含义的特点非常适合深度学习。在传统机器学习模型构建过程中，我们经常使用one hot encoding对离散特征，特别是id类特征进行编码，但由于one hot encoding的维度...
序列到序列模型（Seq2Seq）
2201_75395747的博客
06-27 1897
本质上，注意力机制能够为表征中较有价值的部分分配较多的计算资源。这个有趣的想法自提出后得到了快速发展，特别是启发了依靠注意力机制来编码输入序列并解码出输出序列的变换器（Transformer）模型的设计 [2]。变换器抛弃了卷积神经网络和循环神经网络的架构。它在计算效率上比基于循环神经网络的编码器—解码器模型通常更具明显优势。含注意力机制的变换器的编码结构在后来的BERT预训练模型中得以应用并令后者大放异彩：微调后的模型在多达11项自然语言处理任务中取得了当时最先进的结果 [3]。
tensorflow(十二）利用seq2seq的Decoder-Encoder机制实现序列生成模型（下）
Missaya的博客
05-28 3326
本文为利用seq2seq实现单词序列转换的代码，开发环境为jupyter，tensorflow版本为1.2.1 实验数据和程序文件见链接：https://pan.baidu.com/s/1YDkaQFvWuKN8KAT1aQ4Z0A 一、预处理 1、引入必要的包 打开source和target两个txt文件，并打印前十个数据 2、数据预处理 这个阶段主要对每个字母映...
Seq2Seq模型
sinat_36618660的博客
08-12 4944
Seq2Seq,全称为Sequence to Sequence模型(序列到序列模型,目前还没有很好的翻译),意思可以解释为将一个序列信号(词序列,字序列),通过编码和解码生成一个新的序列信号(词序列,字序列),通常用于机器翻译、图片描述、自动对话、语音识别等领域 (一)什么是Seq2Seq模型？ seq2Seq模型的核心思想，通过深度神经网络将一个作为输入的序列信号转换位输出的序列信号，这一过程由...
Seq2Seq详解
David's Notes
10-14 2075
文章目录10. Seq2Seq10.1 Baseline Seq2Seq 架构10.1.1 技术架构10.1.1.1 第一步：Tokenization & Build Dictionary10.1.1.2 第二步：Word Emebedding10.1.1.3 第三步：Training Seq2Seq Model10.1.1.4 第四步：Inference Using the Seq2Seq Model10.1.2 模型优缺点10.1.3 优化10.1.3.1 Encoder 变成 双向10.1.3
self-attention代码tensorflow
06-28
### 回答1： 以下是一个简单的 self-attention 代码示例，使用 TensorFlow 实现： ```python import tensorflow as tf class SelfAttention(tf.keras.layers.Layer): def __init__(self, units): super(SelfAttention, self).__init__() self.W1 = tf.keras.layers.Dense(units) self.W2 = tf.keras.layers.Dense(units) self.V = tf.keras.layers.Dense(1) def call(self, inputs): # inputs shape: (batch_size, seq_len, embedding_dim) # hidden shape: (batch_size, seq_len, units) hidden = tf.nn.tanh(self.W1(inputs) + self.W2(inputs)) # score shape: (batch_size, seq_len, 1) score = self.V(hidden) # attention_weights shape: (batch_size, seq_len, 1) attention_weights = tf.nn.softmax(score, axis=1) # context_vector shape: (batch_size, units) context_vector = attention_weights * inputs context_vector = tf.reduce_sum(context_vector, axis=1) return context_vector ``` 这个 self-attention 层接受一个形状为 (batch_size, seq_len, embedding_dim) 的输入张量，其中 batch_size 是批量大小，seq_len 是序列长度，embedding_dim 是嵌入维度。它通过两个全连接层 W1 和 W2 将输入映射到一个隐藏表示，然后使用另一个全连接层 V 计算每个时间步的得分。得分通过 softmax 函数进行归一化，得到每个时间步的注意力权重。最后，将注意力权重乘以输入张量，得到上下文向量，作为 self-attention 层的输出。 使用这个 self-attention 层的示例代码： ```python import numpy as np # 创建一个 self-attention 层 attention_layer = SelfAttention(units=32) # 创建一个输入张量 inputs = tf.keras.Input(shape=(10, 16)) # 在输入张量上应用 self-attention 层 context_vector = attention_layer(inputs) # 创建一个模型 model = tf.keras.Model(inputs=inputs, outputs=context_vector) # 生成一些随机输入数据 x = np.random.randn(32, 10, 16) # 在模型上进行推理 output = model(x) print(output.shape) # 输出 (32, 32) ``` ### 回答2： 自注意力机制（self-attention）是目前在自然语言处理领域广泛应用的一种机制。自注意力机制在BERT、GPT-2等模型中占据了非常重要的位置，因此，掌握自注意力机制的实现方法对进行文本处理任务非常重要。 而在TensorFlow中，实现自注意力机制也非常简单。下面是一个简单的TensorFlow代码示例： ```python import tensorflow as tf class SelfAttention(tf.keras.layers.Layer): def __init__(self, dim, num_heads): super(SelfAttention, self).__init__() # 创建查询、键、值的权重矩阵 self.query_weights = tf.keras.layers.Dense(units=dim) self.key_weights = tf.keras.layers.Dense(units=dim) self.value_weights = tf.keras.layers.Dense(units=dim) # 查询的分组数：即头的数量 self.num_heads = num_heads # 定义multi-head softmax层 self.multihead_softmax = tf.keras.layers.Dense(units=dim) def call(self, inputs): # inputs的shape：(batch_size, seq_len, embedding_size) # 生成查询、键、值 queries = self.query_weights(inputs) keys = self.key_weights(inputs) values = self.value_weights(inputs) # 将最后一维embedding_size分成num_heads份 queries = tf.reshape(queries, shape=(tf.shape(queries)[0], -1, self.num_heads, queries.shape[-1] // self.num_heads)) keys = tf.reshape(keys, shape=(tf.shape(keys)[0], -1, self.num_heads, keys.shape[-1] // self.num_heads)) values = tf.reshape(values, shape=(tf.shape(values)[0], -1, self.num_heads, values.shape[-1] // self.num_heads)) # 经过matmul计算得到attention分布 attention_matmul = tf.matmul(queries, keys, transpose_b=True) attention_score = tf.nn.softmax(attention_matmul / tf.math.sqrt(tf.cast(keys.shape[-1], dtype=tf.float32))) attention_output = tf.matmul(attention_score, values) # 对前两维进行reshape，再经过全连接层得到结果 attention_output = tf.reshape(attention_output, shape=(tf.shape(attention_output)[0], -1, attention_output.shape[-2] * attention_output.shape[-1])) output = self.multihead_softmax(attention_output) return output ``` 以上函数中，我们首先定义了一个SelfAttention类，该类继承了TensorFlow中的keras.layers.Layer类。在该类中，我们定义了查询、键、值的权重矩阵，以及多头softmax层。然后在call函数中，我们将输入进行查询、键、值的计算，然后分成多个头，经过matmul计算得到attention分布，最后将前两维进行reshape后再经过全连接层得到输出。 使用该SelfAttention类时，只需要在定义model时添加该层即可。例如： ```python import tensorflow as tf input = tf.keras.layers.Input(shape=(None, 512)) self_attention = SelfAttention(dim=512, num_heads=8)(input) model = tf.keras.models.Model(input, self_attention) ``` 以上代码示例可以将输入通过定义的SelfAttention层进行处理，然后输出self-attention后的结果。 ### 回答3： Self-attention（自注意力）是一种用于自然语言处理和计算机视觉领域的自监督学习方法，它通过允许模型在输入序列中关注不同位置的信息来实现对序列数据的建模。代码tensorflow实现了自注意力模型，使得开发者可以使用tensorflow库快速部署自注意力应用。 在代码tensorflow中，首先需要定义一个自注意力层。在该层中，输入数据被表示为一个矩阵，我们可以使用矩阵点积和softmax函数来计算每个注意头的输出: ```python class SelfAttention(tf.keras.layers.Layer): def __init__(self, units): super(SelfAttention, self).__init__() self.units = units self.W_q = tf.keras.layers.Dense(units=self.units) self.W_k = tf.keras.layers.Dense(units=self.units) self.W_v = tf.keras.layers.Dense(units=self.units) self.dense = tf.keras.layers.Dense(units=self.units) def call(self, inputs): Q = self.W_q(inputs) #[batch_size, query_length, depth] K = self.W_k(inputs) #[batch_size, key_length, depth] V = self.W_v(inputs) #[batch_size, value_length, depth] #计算分数，通过矩阵相乘 score = tf.matmul(Q, K, transpose_b=True) #缩放得分 depth = tf.cast(tf.shape(K)[-1], tf.float32) scaled_score = score / tf.math.sqrt(depth) #使用softmax函数计算权重 weights = tf.nn.softmax(scaled_score, axis=-1) #计算加权和 attention_output = tf.matmul(weights, V) #拼接所有头的输出 heads = tf.concat(tf.split(attention_output, num_or_size_splits=self.num_heads, axis=-1), axis=0) return self.dense(heads) ``` 然后，我们可以使用定义好的自注意力层来构建一个自注意力模型。该模型使用多头注意力，允许模型同时关注多个位置的信息。 ```python class SelfAttentionModel(tf.keras.Model): def __init__(self, num_heads, units, output_units): super(SelfAttentionModel, self).__init__() self.num_heads = num_heads self.self_attention = SelfAttention(units=units) self.output_layer = tf.keras.layers.Dense(units=output_units, activation='softmax') def call(self, inputs): self_attention_output = self.self_attention(inputs) return self.output_layer(self_attention_output) ``` 最后，我们可以使用tensorflow的训练方法来训练自注意力模型，并在测试集上评估其性能。同时，我们也可以使用训练好的模型来执行不同的自然语言处理和计算机视觉任务。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值