tf.sequence_mask()函数

最新推荐文章于 2022-02-19 22:42:42 发布
最新推荐文章于 2022-02-19 22:42:42 发布
阅读量329 收藏 1
点赞数
分类专栏： Tensorflow 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19409845/article/details/104707436
版权

文章目录

tf.sequence_mask()函数

sequence_mask(
    lengths, # 原始序列长度
    maxlen=None,	# 最大序列长度
    dtype=tf.bool,	# 类型是bool(True,Fales)，也可以是float（1 or 0）
    name=None
)
return mask类型数据,默认类型为bool,返回mask张量

例子

dtype=tf.bool时，返回的是True，Fales的张量
dtype=tf.float时，返回的是1，0的张量

只给定lengths时

lenght = 3
mask_data = tf.sequence_mask(lengths=lenght)
# 输出结果是长度为3的array，前四个True
array([ True, True, True])

给定lengths和maxlen时（dtype不给定，默认为bool）

lenght = 3
maxlen = 5
mask_data = tf.sequence_mask(lengths=lenght,maxlen=maxlen )
# 输出结果是长度为5的array，前三个True
array([ True, True, True, False, False])

定义lengths，maxlen，dtype时

lenght = 3
maxlen = 5
dtype = tf.float32
mask_data = tf.sequence_mask(lengths=lenght,maxlen=maxlen ,dtype=dtype )
# 输出结果是长度为5的array，前三个1.0后俩个为0.0
array([1., 1., 1., 1., 0., 0.], dtype=float32)
年少无为呀！
关注
专栏目录
tf.sequence_mask与tf.tile及Embedding
NLP与推荐算法
05-14 384
这个函数有啥用啊？搜了下发现NLP中用的多。 我看了官方github，查到了东西。也可以自己实现，很简单的。但我需要理解表示啥意思 一些博文说是序列长度的mask标志。 这俩结合用一下看看是啥玩意： uf=tf.keras.Input(shape=1,dtype='int32',name='len') mask=tf.sequence_mask(uf,50,dtype=tf.float32) mask2=tf.transpose(mask,(0,2,1)) mask3=tf.tile(mask2,
sequence_mask是什么鬼？
NLP与推荐算法
07-22 1202
hi我是菜鸟小明哥，之前有遇到这个函数，但是仍旧迷糊。这篇博文说了其作用。很多时候都是一个东西反复，小东西总能阻碍进一步发展，挺难的哈。【这也符合认识的哲学原理，在反复中学习，逐渐掌握其规律】 For Recommendation in Deep learning QQ Second Group 102948747 For Visual in deep learning QQ Group 629530787 I'm here waiting for you不接受这个网页的私聊/私信！！ 本宝宝长期征集真.
TensorFlow笔记之：填充使用tf.sequence_mask()函数详细说明和应用场景
xinjieyuan的博客
07-13 1万+
tf.sequence_mask()函数 这个函数目前我主要用于数据填充时候使用。 函数介绍 # 函数定义 sequence_mask( lengths, maxlen=None, dtype=tf.bool, name=None ) # 返回数据 return mask类型数据 参数解释 函数返回的一个mask张量，默认内部元素类型是tf.bool（布尔变量）。...
tf.sequence_mask
Mr.horse的博客
10-23 8345
用法： sequence_mask( lengths, maxlen=None, dtype=tf.bool, name=None ) 函数参数 lengths：整数张量，其所有值小于等于maxlen。 maxlen：标量整数张量，返回张量的最后维度的大小；默认值是lengths中的最大值。 dtype：结果张量的输出类型。 name：操作的名字。 用...
tf.sequence_mask()
七月听雪的博客
06-06 316
tf.sequence_mask( lengths, # true的个数 （句子的真实长度） maxlen=None, # 向量的总长度 （句子的最大长度） dtype=tf.bool, name=None ) tf.sequence_mask([1, 3, 2], 5) # 向量的长度是5 # [[True, False, False, False, False], 从头开始有1个true # [True, True, True, False, .
pytroch实现tf.sequence_mask
03-25
在PyTorch中，可以使用以下代码来实现tf.sequence_mask： ```python import torch # lengths是一个一维张量，存储了每个序列的长度 # max_len是要填充的最大长度 def sequence_mask(lengths, max_len): # 生成每...
tf.contrib.seq2seq.sequence_loss 中logit和label shape不匹配报错
qq_42815385的博客
03-15 3550
在训练seq2seq网络时，单个gpu没有问题，但是当处理多个gpu并行时，问题来了： 在train时，总会报错： InvalidArgumentError (see above for traceback): logits and labels must have the same first dimension, got logits shape [12,737] and labels sha...
import tensorflow as tf import tensorflow_hub as hub from tensorflow.keras import layers import bert import numpy as np from transformers import BertTokenizer, BertModel # 设置BERT模型的路径和参数 bert_path = "E:\\AAA\\523\\BERT-pytorch-master\\bert1.ckpt" max_seq_length = 128 train_batch_size = 32 learning_rate = 2e-5 num_train_epochs = 3 # 加载BERT模型 def create_model(): input_word_ids = tf.keras.layers.Input(shape=(max_seq_length,), dtype=tf.int32, name="input_word_ids") input_mask = tf.keras.layers.Input(shape=(max_seq_length,), dtype=tf.int32, name="input_mask") segment_ids = tf.keras.layers.Input(shape=(max_seq_length,), dtype=tf.int32, name="segment_ids") bert_layer = hub.KerasLayer(bert_path, trainable=True) pooled_output, sequence_output = bert_layer([input_word_ids, input_mask, segment_ids]) output = layers.Dense(1, activation='sigmoid')(pooled_output) model = tf.keras.models.Model(inputs=[input_word_ids, input_mask, segment_ids], outputs=output) return model # 准备数据 def create_input_data(sentences, labels): tokenizer = bert.tokenization.FullTokenizer(vocab_file=bert_path + "trainer/vocab.small", do_lower_case=True) # tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') input_ids = [] input_masks = [] segment_ids = [] for sentence in sentences: tokens = tokenizer.tokenize(sentence) tokens = ["[CLS]"] + tokens + ["[SEP]"] input_id = tokenizer.convert_tokens_to_ids(tokens) input_mask = [1] * len(input_id) segment_id = [0] * len(input_id) padding_length = max_seq_length - len(input_id) input_id += [0] * padding_length input_mask += [0] * padding_length segment_id += [0] * padding_length input_ids.append(input_id) input_masks.append(input_mask) segment_ids.append(segment_id) return np.array(input_ids), np.array(input_masks), np.array(segment_ids), np.array(labels) # 加载训练数据 train_sentences = ["Example sentence 1", "Example sentence 2", ...] train_labels = [0, 1, ...] train_input_ids, train_input_masks, train_segment_ids, train_labels = create_input_data(train_sentences, train_labels) # 构建模型 model = create_model() model.compile(optimizer=tf.keras.optimizers.Adam(lr=learning_rate), loss='binary_crossentropy', metrics=['accuracy']) # 开始微调 model.fit([train_input_ids, train_input_masks, train_segment_ids], train_labels, batch_size=train_batch_size, epochs=num_train_epochs)这段代码有什么问题吗？
最新发布
05-24
pooled_output, sequence_output = bert_layer([input_word_ids, input_mask, segment_ids]) output = layers.Dense(1, activation='sigmoid')(pooled_output) model = tf.keras.models.Model(inputs=[input_...
从头实现一个深度学习的对话系统--tf.contrib.seq2seq API介绍
呜呜哈的博客
01-12 7825
这篇文章就简单从源码的角度上分析一下tf.contrib.seq2seq下提供的API，首先来讲这个文件夹下面的几个文件和函数上篇文章中都已经提到而且介绍了他们之间的关系和如何使用，如果对源码不感兴趣就不用看下去了~~ BasicDecoder和dynamic_decode 为了简单起见，从decode的入口dynamic_deocde函数开始分析： dynamic_deco
【Tensorflow】tf.sequence_mask()
littlemichelle
02-07 629
目录 一：tf.sequence_mask()函数 二：tf.boolean_mask()函数 一：tf.sequence_mask()函数 应用场景主要是在填充计算时候使用，比如你把没有单词的位置填充了0，如果纳入了前向传播计算，影响了最终经验损失函数的结果。那么我们如果通过tf.sequence_mask得到的mask张量，与损失函数结果进行对照相乘，可以去掉无用的损失值，保证了计算的准确性。 1.定义 # 函数定义 sequence_mask( lengths, maxl
tf.sequence_mask 用法
热门推荐
weixin_41874599的博客
09-13 2万+
TensorFlow张量变换函数：tf.sequence_mask   tf.sequence_mask 函数 sequence_mask( lengths, maxlen=None, dtype=tf.bool, name=None ) 定义在：tensorflow/python/ops/array_ops.py。 参见指南：张量变换>分割和连接...
sequence_mask
scar2016的博客
02-19 2108
文章目录1. True 和 False 1. True 和 False 我们可以通过true和false 来抽取矩阵中的元素 抽取相关位置的元素，放在一个张量中 import torch input = torch.arange(9).reshape(3, 3) print(f"input_before={input}") # 定义一个跟input相同大小的矩阵，True表示提取，False表示不用处理 mask = torch.tensor([[False, False, True], [
tensroflow：tf.sequence_mask
van的博客
11-23 401
import tensorflow as tf with tf.variable_scope('gg',reuse=tf.AUTO_REUSE): f=tf.placeholder(tf.int32,[None]) f_f=tf.to_float(f > 0) user_emb_w = tf.get_variable("user_emb_w", [2, 5]) ...
tf.sequence_mask 实例
Talk Is Cheap
11-29 838
import tensorflow as tf tf.enable_eager_execution() print(tf.sequence_mask([1, 3, 2], 5)) 打印结果： tf.Tensor( [[ True False False False False] [ True True True False False] [ True True False False Fa...
tensorflow中的mask：tf.sequence_mask
ACM_hades的博客
03-24 1950
tf.sequence_mask： 函数原型： sequence_mask( lengths, maxlen=None, dtype=tf.bool, name=None ) 例子： import tensorflow as tf a = tf.sequence_mask([1, 2, 3], 4) b = tf.sequence_mask([[1, 2], [3...
Tensorflow - tf.sequence_mask()解析
Zhou_Dao的博客
05-06 479
原文 https://blog.csdn.net/xinjieyuan/article/details/95760679 效果 # 比如这个lenght就是记录了第一个句子2个单词，第二个句子2个单词，第三个句子4个单词 lenght = [2,2,4] mask_data = tf.sequence_mask(lengths=lenght) # 长度为max(lenght) ar...
tensorflow 学习笔记-- tf.reduce_max、tf.sequence_mask
qq_28808697的博客
06-11 1万+
    tf.reduce_max函数的作用：计算张量的各个维度上的元素的最大值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

年少无为呀！

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值