[tensorflow笔记]-tensorflow实现带mask的reduce_mean

最新推荐文章于 2021-10-26 13:10:39 发布

黄然大悟

最新推荐文章于 2021-10-26 13:10:39 发布

阅读量1.1k

点赞数 2

分类专栏： Tensorflow & Keras 文章标签： tensorflow reduce_mean mask平均

本文链接：https://blog.csdn.net/huanghaocs/article/details/114021423

版权

本文介绍如何在TensorFlow中实现带mask的reduce_mean操作，避免在处理NLP任务时，padding补0部分影响平均值计算。通过基本操作，确保只对有效数据进行平均。

摘要由CSDN通过智能技术生成

在使用tensorflow处理一些tensor时，有时需要对一个tensor取平均，可以使用tf.reduce_mean操作，但是这个没法处理带有mask的tensor数据，本文主要就是利用tensorflow的基本操作实现带mask的平均。

tf.reduce_mean

比如我们的数据是3维tensor，shape=（B，N，H），B表示batch_size、N表示最大长度、H表示向量维度，这样的3维tensor在NLP相关模型中很常见。

# input tensor
tensor = tf.constant([[[1, 2, 3], [3, 4, 5], [5, 6, 7]], 
                      [[1, 1, 2], [3, 3, 4], [

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

黄然大悟

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

tensorflow中mask

Deep Learning and NLP Farm

02-23

1万+

Question： Hi,Say I want to train some LSTM unit, and my training data has variable lengths with a maximum length of say, 30. What is the right thing to do?In TF we cannot dynamically create a computa

深度学习图像处理中tf.reduce_mean(), tf.reduce_sum(), tf.boolean_mask()

zhicheng_angle的博客

11-20

365

import tensorflow as tf import numpy as np tensor = [[1, 2], [3, 4], [5, 6]] mask=np.array([[True,True],[False,True],[False,False]]) z=tf.boolean_mask(tensor, mask) with tf.Session() as sess: ...

1 条评论您还未登录，请先登录后发表或查看评论

tensorflow 生成一个tensor的mask

曲草的博客

09-17

3214

import tensorflow as tf a = tf.constant([[-1, 2, 3], [2, -3, 4], [5, 6, -7]], dtype=tf.float32) d = tf.ones(shape=[3, 3], name='a') e = tf.zeros(shape=[3, 3], name=...

深度学习-tensorflow1.x:平均值（reduce_mean）与求和（reduce_sum）小白理解代码实现 Tensorflow1.x 和 Numpy

Harry的博客

03-23

839

用Tensorflow1.x 和Numpy 代码实现均值（reduce_mean） import tensorflow as tf import numpy as np x = [[1, 2, 3], [1, 2, 3]] xx = tf.cast(x, tf.float32) mean_all = tf.reduce_mean(xx, keepdims=False) mean_...

Tensorflow 实现常见mask

qwexdl的博客

04-15

1616

一、self-attention中的mask 1.1 attention的mask. 1.1.1 举例 q_mask = [1, 1, 1, 1, 0, 0] # seq_len. 其中1表示有效, 0表示无效. # self-attention的score为 [seq_len, seq_len] q_mask = tf.expand_dims(q_mask, axis=-1) # [seq_len, 1] k_mask = tf.reshape(q_mask, [1, -1]) # [1, s

TensorFlow 训练 Mask R-CNN 模型 (1)

yx868yx的博客

04-23

1507

一、数据准备因为只是详实的记录一下训练过程，所以数据量不需要太多，我们以数据集 Oxford-IIIT Pet 中的阿比西尼亚猫（Abyssinian）为例来说明。数据集 Oxford-IIIT Pet 可以从这里下载，数据量不大，只有 800M 不到。其中，阿比西尼亚猫的图像只有 232 张，这种猫的长相如下： Abyssinian_65.jpg 要训练 Mask R-CNN 实例分...

tensorflow2.0---笔记1 tensor基本操作

weixin_43543210的博客

08-22

913

tensorflow中的tensor基本操作

tensorflow笔记之二十八——带掩码的损失函数

蚂蚁搬家

10-26

1324

一个应用场景在多标签问题中，有时候需要一些特殊的处理，比如一些样本只对部分class进行更新，而另一些样本对另外一些class进行更新。举个例子，我们预测一个用户喜欢什么类型的电影，假如我们知道用户对哪些电影有过观看行为，这是正样本，负样本一般来说可以随机采样构造，构造也有两种方式，一个是固定用户随机采样电影，一个是固定电影随机采样用户，两种方式其实是等价的，不过考虑到随机采样用户可以覆盖到完全没有观影记录的用户，我们倾向于用后者（看电影的用户和不看电影的用户可能本身就有很大的不同了，如果train d

001-TensorFlow 2.0 教程-Transformer

知行_那片天

05-07

8837

TensorFlow 2.0 教程-Transformer Tensorflow 2.0 教程持续更新：https://blog.csdn.net/qq_31456593/article/details/88606284 本教程主要由tensorflow2.0官方教程的个人学习复现笔记整理而来，并借鉴了一些keras构造神经网络的方法，中文讲解，方便喜欢阅读中文教程的朋友，tensorflow官...

tensorflow笔记（二十三）——tf.metrics

蚂蚁搬家

08-08

1740

1.概述 tf.metrics主要是实现了评估相关的各种指标函数，比如mean、precesion、auc、precession、mse、precesion_at_k等等。以tf1.15为例，主要包括： accuracy(...): Calculates how often predictions matches labels. auc(...): Computes the approximate AUC via a Riemann sum. average_precision_at_k(...): Com

tensorflow中的masks()和padding()：tf.sign()、tf.reduce_sum()、axis含义、expand_dims()

xinjieyuan的博客

09-03

1901

mask函数生成的具体内部细节方法 tf.sign() 等价于numpy.sign,除了NaN. sign( x, #　一个tensor或者sparseTensor name=None # 可选 ) 返回数字符号的元素指示如果x < 0,则有 y = sign(x) = -1；如果x == 0,则有 0 或者tf.is_nan(x)；如果x > 0,则有1. ...

tensorflow中对Mask的读取：boolen_mask

yuzeyuan12的博客

04-02

307

tf.boolen_mask： import tensorflow as tf a = [0,1,2,3] b = [True,False,True,False] tf.boolean_mask(a,b) #[0,2]

TensorFlow实战：Chapter-8上(Mask R-CNN介绍与实现)

热门推荐

DFan的NoteBook

11-09

6万+

简介论文地址：Mask R-CNN 源代码：matterport - github 代码源于matterport的工作组，可以在github上fork它们组的工作。软件必备复现的Mask R-CNN是基于Python3，Keras，TensorFlow。 Python 3.4+ TensorFlow 1.3+ Keras 2.0.8+ Jupyter Noteboo...

tensorflow tensor 张量部分采样切片和索引

weixin_44493841的博客

03-12

320

文章目录视频索引和切片索引一维张量切片二维张量切片三维、四维张量切片gether函数gather_en函数视频 https://www.bilibili.com/video/BV1jK4y187yB?p=48 索引和切片索引一维张量切片二维张量切片三维、四维张量切片 gether函数 gather_en函数 ...

tensorflow 中 boolean_mask的具体含义和例程解析

addresser的博客

07-30

1万+

tensorflow里的一个函数，boolean_mask(a,b) 将使a (m维)矩阵仅保留与b中“True”元素同下标的部分。在做目标检测（YOLO）时常常用到。 """Apply boolean mask to tensor. Numpy equivalent is `tensor[mask]`. ```python # 1-D example tensor = [0, 1, 2, 3...

tensorflow2中的遮盖和填充(padding&mask)以及dnamic_rnn学习笔记

Miracle8070

02-28

2534

1. 写在前面最近在用deepctr代码风格复现DIN模型的时候，无意间发现了tf文档里面有关于变长序列的遮盖和填充的相关知识点，今天抽了一下午的时间快速学习了一下，结合着复现DIN模型时遇到的一个坑，做了几个小实验感受了一下这个知识点的具体使用情况。另外，又顺便复习了下tf1中的动态RNN(dynammic_rnn)，因为这两天复现DIEN时在兴趣抽取层那里卡住了，我一直好奇兴趣抽取层那里是怎么计算呢？原始的行为序列padding之后，经过GRU得到的隐藏状态的输出后，是不是就没法识别出之

TensorFlow常用函数

weixin_30641999的博客

01-23

250

一，tensorflow中有一类在tensor的某一维度上求值的函数。如：求最大值tf.reduce_max(input_tensor, reduction_indices=None, keep_dims=False, name=None) 求平均值tf.reduce_mean(input_tensor, reduction_indices=None, keep_dims=False, na...

Deeplearning中mask的作用

岳麓山炒粉的博客

04-05

908

搬运自：https://www.quora.com/What-is-masking-in-a-recurrent-neural-network-RNN 我认为，在实践中，我们需要掩盖的最重要的原因之一是，我们要batchize多个句子作为一个输入，即输入了一批句子的模型做一个向前计算。像这样的成像案例：两个句子：我喜欢猫。他不喜欢猫。然后我们通过词汇表中的索引将每个单词转换为int： ...

【mooc】人工智能实践:tensorflow笔记-北京大学代码