tf.contrib.data.group_by_window函数解析

最新推荐文章于 2023-10-24 11:51:38 发布
最新推荐文章于 2023-10-24 11:51:38 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： Tensorflow2.0文档学习 文章标签： group_by_window python tensorflow2.0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43807591/article/details/102822154
版权
本文介绍了在TensorFlow 1.15版本中已弃用的`tf.contrib.data.group_by_window`函数。该函数用于根据key_func进行分组，并通过reduce_func对每个分组进行操作。在示例中，key_func是数值除以2取余数，reduce_func使用batch函数将每个分组分成批次。虽然在TensorFlow 2.0中不再使用，但理解其工作原理有助于解析旧代码或理解`tf.data.Dataset.apply`的用法。
摘要由CSDN通过智能技术生成

问题来源

在tensorflow2.0的文档中，对于tf.data.Datsset.apply函数的用法示例，其中的group_by_window函数不好理解，而且在tensorflow2.0版本中似乎找不到，后来在1.15版本中找到了已经弃用的group_by_window函数，经过研究，初步了解了该函数的用法。

函数用法

该函数的用法在我在StackOverflow中看到了有关的问题问题链接，通过一段示例代码可以了解该函数的用法。

import tensorflow as tf
import numpy as np
components = np.arange(100).astype(np.int64)
dataset = tf.data.Dataset.from_tensor_slices(components)
dataset = dataset.apply(
    tf.contrib.data
最低0.47元/天 解锁文章
莫振威
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用 Python 的 LSTM 进行股市预测
gongdiwudu的专栏
04-08 2985
​在本教程中，您将了解如何使用称为长短期记忆的时间序列模型。 LSTM 模型非常强大，尤其是在设计上保留长期记忆，正如您稍后将看到的。您将在本教程中解决以下主题： 了解为什么您需要能够预测股价走势； 下载数据 - 您将使用从雅虎财经收集的股票市场数据； 分割训练测试数据并执行一些数据标准化； 回顾并应用一些可用于一步预测的平均技术； 激发并简要讨论LSTM 模型，因为它可以提前预测不止一步； 利用当前数据预测和可视化未来股市 ​
usage.txt-2
huhuoyun的专栏
02-15 1315
局域网共享喇叭 ---------------- $>paprefs #PulseAudio Preferences. $>pavucontrol #Volume Control. 终端快捷键 ---------------- SHIFT+CTRL+v #终端复制. SHIFT+CTRL+c #终端粘贴. SHIFT+CTRL+t #新建标签页. SHIFT+.
tensorflow contrib_tf.data API，构建高性能 TensorFlow 输入管道
weixin_39603469的博客
11-25 257
GPU 和 TPU 可以从根本上缩短执行单个训练步骤所需的时间。欲将性能提高到极致，则需要有一个高效的输入管道，能够在当前步骤完成之前为下一步提供数据。tf.data API 有助于构建灵活高效的输入管道。本文介绍了 tf.data API 的功能和最佳实践操作，用于在各种模型和加速器上构建高性能 TensorFlow 输入管道。本文将主要介绍下列内容：说明 TensorFlow 输入管...
group_by的用法
坚持是世界上每个有所建树的人共有的品质！
12-16 1005
GROUP BY 是分组查询, 一般 GROUP BY 是和 聚合函数配合使用,你可以想想 你用了GROUP BY 按  ITEM.ITEMNUM 这个字段分组,那其他字段内容不同,变成一对多又改如何显示呢,比如下面所示 A  B1  abc1  bcd1  asdfg select A,B from table group by A你说这样查出来是什么结果, A  B    abc 1 
tf.contrib.data.Dataset 读取数据的原理--buffer
wzg2016的博客
12-28 492
在用tf.contrib.data.Dataset读取数据集数据时，会遇到一个概念/参数: buffer buffer的含义是缓存 buffer_size的含义是：放入缓存的样本的个数 prefech的缓存与shuffle的缓存是相同的吗？谁是谁的子集吗？还是谁大就以谁为准？ 有几点是确定的：tf.contrib.data.Dataset按顺序从数据集中读取数据放入buffer shuffle仅仅对buffer中的样本进行打乱，或者随机采样...
tensorflow框架的tf.group()函数
未名方略
11-08 1811
Create an op that groups multiple operations. When this op finishes, all ops in inputs have finished. This op has no output. 有点像批处理，法术定序。 import tensorflow as tf a = tf.constant([5.0]) b = tf.con...
TensorFlow笔记——(2) tf.group(), tf.tuple 和 tf.identity()
Lavi的专栏
04-15 1万+
引言 最近在读别人写的代码的时候看到下面的代码。 update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS, first_clone_scope) ...... update_op = tf.group(*update_ops) 不太明白这个group()函数的作用是什么，于是上网进行了一番学习，在此记录一下，也分享出来供新手参考。 ...
吴恩达Coursera深度学习课程 DeepLearning.ai 编程作业——Convolution model:step by step and application (4.1)
Hansry的博客
11-17 9950
Convolutional Neural Networks: Step by StepWelcome to Course 4’s first assignment! In this assignment, you will implement convolutional (CONV) and pooling (POOL) layers in numpy, including both forward
如何用神经网络预测股票趋势？
BIT`S WORLD
06-12 8560
前言 疫情期间，我爸妈又开始炒股了，鉴于之前做过一个AI结合的量化交易项目，但是不是负责算法部分，所以想自己尝试一下，实现一个算法引擎。 纯数据科学只能做参考，最好结合传统量化交易和舆情分析，我后面有时间会尝试三者结合，希望有更好效果。 在本教程中，你将了解到如何使用被称作长短期记忆网络（LSTM）的时间序列模型。LSTM 模型在保持长期记忆方面非常强大。阅读这篇教程时，你将： 明白预测股市走势的动机； 下载股票数据 — 你将使用由 Alpha Vantage 或 Kaggle 收集的股票数据； 将数.
MySQL的四种GROUP BY用法
热门推荐
老叶茶馆
03-11 3万+
导读译者：魏新平知数堂第5期MySQL实战班学员，第10期MySQL优化班学员，现任职助教。原文出处：https://www.percona.com/blog/2018/02/05/four-ways-to-execute-mysql-group-by/原文作者：Peter Zaitsev 在本文中，我将介绍MySQL执行GROUP BY的四种方法。In this blog post, I’ll
tensorflow 学习笔记-- tf.data.Dataset
qq_28808697的博客
06-15 445
参考博客：TensorFlow全新的数据读取方式：Dataset API入门教程1、创建Dataset的函数： tf.data.Dataset.from_tensor_slices2、对Dataset中的元素做变换map、batch、shuffle、repeat等3、创建Iterator的方法：通过dataset.make_one_shot_iterator()来创建一个one shot iter...
Window Operations(窗口函数的使用)
MOL
08-30 8907
定时的进行一个时间段内的数据处理 Spark Streaming also provides windowed computations, which allow you to apply transformations over a sliding window of data. The following figure illustrates this sliding window. As shown in the figure, every time the window slides over a
解决AttributeError: ‘MapDataset‘ object has no attribute ‘group_by_window‘
最新发布
牛肉胡辣汤
10-24 244
通过运行以上代码，我们可以看到窗口数据的输出结果，窗口数据表示每个时间窗口的特征和标签。​函数，我们可以很方便地对数据集进行窗口划分，从而实现对时间序列数据或其他具有相关性的数据进行预处理的功能。​错误，并将数据集按窗口大小进行分割，适用于时间序列数据的预处理任务。​函数将数据集划分为窗口，窗口大小为5，滑动间隔为1，并且丢弃了任何不完整的窗口。​函数将数据集划分为窗口，窗口大小为5，滑动间隔为1，并且丢弃了任何不完整的窗口。​，用于将每个窗口的前4个时间步作为特征，最后一个时间步作为标签。
tf.contrib在tf2中无法使用
m_zwa的博客
11-02 3687
在尝试文献中代码时发现tf.comtrib无法使用 官方文档中说 It is still possible to run 1.X code, unmodified (except for contrib), in TensorFlow 2.0: import tensorflow.compat.v1 as tf tf.disable_v2_behavior() 除了contrib应该都用能两行代码解决问题,contrib则用keras.layers代替 model = tf.keras.Sequentia
一起来用tf.data API！（2）——创建迭代器读取数据
Friedrich Yuan的博客
11-10 2069
一起来用tf.data API！（2）——创建迭代器读取数据（一）前 言（二）单次迭代器（三）可初始化迭代器（四）可重新初始化迭代器（五）可馈送迭代器（六）消耗迭代器中的值（七）保存迭代器的状态（八）总 结 （一）前 言 在第一节中我们介绍了tf.data API的组件结构，我们使用Database方法来创建数据集，然后使用Iterator来读取数据集中的元素，本节我们就来介绍如何用Iter...
Tensorflow版本问题
qq_35284646的博客
04-25 529
tf.contrib.data.map_and_batch tf2.* 版本中无法处理tf1中的这个函数： tf.contrib.data.map_and_batch（batch_size，drop_remainder） 通过查找，tf2版本中更新为：tf.data.Dataset.batch(batch_size, drop_remainder). 解决问题 tf.contrib在tf2版本中改用tf.compat.v1.estimator ...
Tensorflow中的函数
sophicchen的专栏
06-23 1100
1.tf.contrib.data.map_and_batch tf.contrib.data.map_and_batch( map_func, batch_size, num_parallel_batches=None, drop_remainder=False, num_parallel_calls=None ) 复合实现map和batch。 map_func横跨dataset的batch_size个连续元素，然后将它们组合成一个batch。在功能上，...
完美解决no attribute ‘tf.contrib‘问题
源代码杀手的博客
10-15 1941
原因：tf2中删除了contrib这个库 解决方法：安装tf<1.15以下的gpu版本即可 pip install tensorflow-gpu==1.13、1.14 or 1.15 测试成功，没有在报错： 其他解决方法：`ModuleNotFoundError: No module named ‘tensorflow.python.types’ pip uninstall tensorflow_estimator pip install tensorflow_estimator ...
tf.contrib.layers.variance_scaling_initializer( )
05-20
`tf.contrib.layers.variance_scaling_initializer()` 是 TensorFlow 中的一个初始化器函数，用于初始化神经网络中的权重。该函数采用了一种比较先进的初始化方法，即"Variance Scaling Initialization"，可以有效地缓解梯度消失和梯度爆炸的问题，提高神经网络的训练效果。 该函数的语法如下： ``` tf.contrib.layers.variance_scaling_initializer(factor=2.0, mode='FAN_IN', uniform=False, seed=None, dtype=tf.float32) ``` 参数说明： - `factor`：用于缩放输出的标准偏差的因子。默认值为 2.0。 - `mode`：确定使用的缩放方式。可以是 "FAN_IN"（输入节点数量），"FAN_OUT"（输出节点数量）或 "FAN_AVG"（输入和输出节点数量的平均值）。默认值为 "FAN_IN"。 - `uniform`：如果为 True，则从均匀分布中采样，否则从正态分布中采样。默认值为 False。 - `seed`：随机数生成器的种子。默认为 None。 - `dtype`：所需的初始化数据类型。默认为 tf.float32。 使用示例： ```python import tensorflow as tf # 定义一个全连接层，使用 variance scaling 初始化权重 fc1 = tf.layers.dense(inputs=x, units=256, activation=tf.nn.relu, kernel_initializer=tf.contrib.layers.variance_scaling_initializer()) # 定义一个卷积层，使用 variance scaling 初始化卷积核 conv1 = tf.layers.conv2d(inputs=x, filters=32, kernel_size=[3, 3], padding="same", activation=tf.nn.relu, kernel_initializer=tf.contrib.layers.variance_scaling_initializer()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值