[tensorflow] How to subsample dataset like bootstrapping using tf.data API? Tensorflow怎么对数据集做采样

最新推荐文章于 2022-04-09 21:19:17 发布
最新推荐文章于 2022-04-09 21:19:17 发布
阅读量478 收藏
点赞数
分类专栏： 坑
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010909964/article/details/83834657
版权
本文探讨了在拥有大型数据集时，如何利用Tensorflow的tf.data API在每个epoch中只使用随机子集。提到了两种方法：过滤器和先洗牌再跳过。如果选择较大的步长，第一种方法会较慢；而如果步长小，随机性可能不足，导致bootstrap样本之间重叠过多。
摘要由CSDN通过智能技术生成

The problem is I have big dataset and for each epoch i want to use only random subset of this dataset, but how can I make it using tf.data API.

There are two approaches.

  1. use filters
def create_filter(proba):
    return tf.less_equal(tf.random_uniform([], dtype=tf.float32),
最低0.47元/天 解锁文章
Hazekiah
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tensorflow dataset_ops shuffle()方法 （随机重新排列此数据集的元素）
Dontla的博客
12-11 1164
def shuffle(self, buffer_size, seed=None, reshuffle_each_iteration=None): """Randomly shuffles the elements of this dataset. 随机重新排列此数据集的元素。 Args: buffer_size: A `tf.int64` scalar ...
tensorflow学习——《基本用法》
天才男孩的博客
05-17 261
最近尝试用DQN、DDQN算法时，发现tensorflow部分有点模糊，正好忙完了一段时间乱七八糟的事，静下来心重新完整的学一遍tensorflow 首先tensorflow是做图计算的 tf.constant：常量 tf.Variable：变量 tf.matmul：矩阵乘法 tf.Session() sess.run(arg)：计算arg图的输出值 with tf.Sessi...
tensorflow生成随机数及实现随机采样
KEE_HA的博客
05-21 9365
文章目录1. 生成随机数2. 随机采样2.1 实例代码3. 随机打乱数据 1. 生成随机数 参考1 tf.random_normal:从正态分布中输出随机值。tf.random_normal(shape,mean=0.0,stddev=1.0,dtype=tf.float32,seed=None,name=None) tf.random_uniform：从均匀分布中返回随机值random_u...
Subsample子采样(CloudCompare软件)
dayuhaitang1的博客
06-12 5040
之前一直以为CC软件里面没有子采样这个功能，不过找了找之后发现还是有的，感觉这些小的功能挺有意思的，所以也就记录一下。 文章目录一、Random采样二、space采样三、octree采样 一、Random采样 有时候我总是喜欢使用一些小的样本来测试一些算法，所以这个小功能感觉还是很实用的，可以在保证原点云数据特征(如：颜色、法向量等等)的同时，而且能有效的降低点云数据的数据量。 (1)加载数据。 (2)选中要进行子采样的点云对象，然后点击“Subsample”按钮。 (3)选择随机采样，并设置参数。
tensorflow --batch内负采样
zhouwenyuan1015的博客
01-25 4198
class NegativeCosineLayer(): """ 自定义batch内负采样并做cosine相似度的层 """ """ 负采样原理： query_input.shape = [batch_size, dim] doc_input.shape = [batch_size, dim] 默认 query点击该doc。每个点击的item， 随机采集NEG个item负样本 1. 假设每个正样本要采集N个负样本。 2. 分N次采集负样本，每次
HaGRID-HAnd手势识别图像数据集.zip
最新发布
02-10
《HaGRID-HAnd手势识别图像数据集：深度学习在计算机视觉中的应用》 HaGRID-HAnd手势识别图像数据集是一个专为计算机视觉研究者和开发者设计的重要资源，它旨在推动手势识别技术的进步。这个数据集的创建，为深度...
subsample:从 csv、tsv 或其他基于行的数据文件中随机采样行
06-17
subsample是一个命令行工具，用于从以换行符分隔的大型数据集（通常是类似 CSV 的文件）中采样数据。 安装 subsample与pip分发。 安装pip ，只需运行： > pip install subsample 并且subsample将安装到您的 Python ...
subsample:有效地从大量文本文件中随机采样行
06-15
subsample -n 1000 in_file [in_file2...] > out_file 这将生成一个输出文件，其中 1000 行均匀采样而无需从连接的输入文件中替换。 尽管所选行是随机的，但它们的顺序被保留。 该程序的目标是从巨大的输入文件中...
Subsample:子采样 2D、8 位灰度图像。-matlab开发
06-01
在图像处理领域，子采样（Subsampling）是一种常见的操作，用于减少图像的数据量，从而降低存储需求或加快处理速度。在本项目中，我们关注的是2D图像的子采样，特别是针对8位灰度图像。8位灰度图像意味着每个像素...
基于非下采样剪切波变换域方向信息测度的多聚焦图像融合方法
03-28
根据非下采样剪切波变换(non-subsample shearlet transform,NSST)在图像融合领域的优势和多聚焦图像的成像特点,将NSST运用于多聚焦图像融合。在NSST变换域中,利用方向信息测度能够突出图像边缘纹理特征以及降低图像...
Tensorflow的采样方法：candidate sampling
luchi007的专栏
04-10 1万+
TensorFlow candidate sampling
八种样本抽样方法介绍
热门推荐
TensorFlowNews
10-16 8万+
介绍 你肯定很熟悉以下情况：你下载了一个比较大的数据集，并开始分析并建立你的机器学习模型。当加载数据集时，你的计算机会爆出"内存不足"错误。 即使是最优秀的人也会遇到这种事。这是我们在数据科学中面临的最大障碍之一，在受计算限制的计算机上处​​理大量数据(并非所有人都拥有Google的资源实力!)。 那么我们如何克服这个问题呢?是否有一种方法可以选择数据的子集并进行分析，并且该子集可以很好地表示整...
Tensorflow Dataset API详解
liushuikong的博客
01-31 1万+
Tensorflow是一个十分受欢迎的深度学习框架。为了提高框架的性能和易使用性，随着版本的迭代，tensorflow逐步添加了许多高级API。这些高级API中，有一部分是对原来API的更高级封装，还有一部分就是为了提高性能（取代旧API）而开发出来的新API。其中，Dataset API和Estimator API是TensorFlow 1.3 中引入的高级API，官方文档也推荐用户使用它们
Tensorflow2.x：类别不平衡数据的处理（bias偏置、类别加权、过采样、评价曲线）
十里清风
05-20 4557
二分类训练集正例数pos为492，负例数neg为28431，将所有样本预测为负例，正确率为99.83%。 初始bias偏置 输出层神经元数为1，使用逻辑回归输出类别似然概率，即 p(y=1∣x)=11+e−(w⋅x+b) p(y=1|\boldsymbol x)=\frac{1}{1+e^{-(\boldsymbol w\cdot\boldsymbol x+b)}} p(y=1∣x)=1+e−(w⋅x+b)1​ 假设初始w⋅x\boldsymbol w\cdot \boldsymbol xw⋅x接近于0，则
Tensorflow Dataset使用
baidu_34106507的博客
04-09 376
文章目录前言一、Dataset使用二、TextLineDataset，string_split使用,以及中间变量打印 前言 tf的版本：2.7.0 记录tensorflow的使用方法 一、Dataset使用 # from_tensor_slices：表示从张量中获取数据。 # make_one_shot_iterator():表示只将数据读取一次，然后就抛弃这个数据了。 input_data = [1,2,3,5,8] dataset = tf.data.Dataset.from_tensor_slic
TensorFlow实战：Chapter-6（CNN-4-经典卷积神经网络（ResNet）)
DFan的NoteBook
08-06 1万+
ResNetResNet简介ResNet(Residual Neural Network)由微软研究院的何凯明大神等4人提出，ResNet通过使用Residual Unit成功训练152层神经网络，在ILSCRC2015年比赛中获得3.75%的top-5错误率，获得冠军。ResNet的参数量少，且新增的Residual Unit单元可以极快地加速神经网络的训练，同时模型的准备率也有非常大的提升。本节
Tensorflow小技巧整理：tf.multinomial()采样
Cerisier的博客
01-25 4837
tf.multinomial() 做生成任务时，得到 decoder 最终的输出之后，就需要决策选如何利用得到的输出张量进行生成。tf.argmax()是最简单最粗暴的一种方法，直接选取概率最大的词汇作为输出。beam search 等算法的出现，使得生成的结果有了更多的可能性。最近看到一段代码，使用的是 tf.multinomial() 进行采样，也尝试用了一下。 tf.multinomial(...
TensorFlow框架中batch、batch_size、iteration、step和epoch间的关系与意义
xunyishuai5020的博客
12-24 4704
1、定义与关系 batch（批）：batch源自小批量随机梯度下降算法（mini-batch SGD）中，每次更新迭代模型参数时仅使用全部训练集样本中的一小部分，这部分被使用的样本数据叫做一个batch batch_size（批大小）：小批量随机梯度下降法（mini-batch SGD）中，每次更新模型参数所使用的样本数量，即一个batch中所包含的样本数量。 iteration（迭代）：模型训练中，更新模型参数的次数；iteration = batch number * epoch number step
TensorFlow笔记 Tensor的索引、切片和采样
weixin_43826681的博客
08-15 558
基本索引
贝叶斯优化xgboost回归模型进行超参数寻优，训练好最优模型，并调用训练好的模型对预测集Dataset for Predict TC.CSV进行预测，给出详细代码
06-03
好的，接下来是完整的代码，包括训练最优模型和对预测集进行预测。 ```python import pandas as pd import xgboost as xgb from bayes_opt import BayesianOptimization from sklearn.metrics import mean_squared_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值