tensorflow的Dataset对象报错ValueError: GraphDef cannot be larger than 2GB

最新推荐文章于 2020-01-12 07:43:46 发布
最新推荐文章于 2020-01-12 07:43:46 发布
阅读量4.1k 收藏
点赞数
分类专栏： 经验总结 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014218090/article/details/81451737
版权

Dataset对象报错ValueError: GraphDef cannot be larger than 2GB或Cannot create a tensor proto whose content is larger than 2GB

f.data.Dataset对象在小规模数据集上简洁方便，但是不适用于大数据集，以cifar-10为例，50000张图片加载到内存中，以tf.data.Dataset.from_tensor_slices(）方式创建数据集对象，便会报错，根本原因是数组会被转化为 tf.constant() ，占用大量计算图空间。

解决办法：在python部分完成数据集shuffle等操作

PS：https://stackoverflow.com/questions/46207211/tensorflow-dataset-api-causes-graph-size-to-explode

围城DDD
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
UE4打包时出现 FMemoryWriter does not support data larger than 2GB 的解决方案
qq_25580197的博客
07-02 5851
博主前段时间做一个小型别墅的场景，一开始还能正常打包，但在提高渲染效果构建场景后打包，出现了错误。 仔细观察后发现大致意思是 FMemoryWriter 不支持超过2gb大小的场景 ，于是百度找了好久没找到。翻墙后才找到了一点头绪。 它的意思是单个场景太大，于是我看了场景文件 发现只有800mb ，那为什么会提示场景超过了2gb呢？ 仔细思考后发现我的场景构建参数很高，平均每个物体的阴影
Tensorflow-Dataset-Tutorial:我的中级文章笔记本，有关如何在TensorFlow中使用Dataset API
05-13
TensorFlow数据集教程该存储库包含我的中篇文章中使用的笔记本：
tensorflow保存模型时报错: ValueError: GraphDef cannot be larger than 2GB.
jinbeibei0606的博客
10-28 696
最终查出原因是因为输入网络的数据没有提前定义numpy的array接收，而是直接feed到模型里了，可能这样导致模型一次性保存的太大吧，在feed之前先用np.zeros()定义了数组，用来接收输入的图片数据，再传入network中，问题就能解决了。 ...
ValueError: GraphDef cannot be larger than 2GB.
van的博客
09-18 2619
solution: 不是用默认graph 用例： import tensorflow as tf g1 = tf.Graph() with g1.as_default(): c1 = tf.constant([1.0]) with tf.Graph().as_default() as g2: c2 = tf.constant([2.0]) with tf.Session(graph=g1) as...
tensorflow 在加载大型的embedding模型参数时，会遇到cannot be larger than 2GB
weixin_34056162的博客
11-21 904
      这种问题是，对于每一个变量 variable 由于是基于protobuf存在这大小限制(2G),这个时候，我们需要将embedding拆开，拆分成N等分，来使得每一个 variable都在2G以下;  　　 1 # !/usr/bin/env/python 2 # coding=utf-8 3 import tensorflow as tf 4 import n...
神奇的TensorFlow之dataset.from_tensor_slice函数错误:ValueError: Can't convert non-rectangular Python sequenc
ll1042668699的博客
01-12 5621
ValueError: Can't convert non-rectangular Python sequence to Tensor 这是我遇到的异常，但神奇的是这个异常引起的原因是我输入是一个list，而非元组造成的，也就是我把[x_data,y_data]换成(x_data,y_data)就行了，TMD，这叫什么事啊？被这个破错误困了好久。 ...
Tensorflow官方训练数据集：horse-or-human（人、马识别）训练数据
08-19
Tensorflow官方训练数据集：horse-or-human（人、马识别）训练数据
TensorFlow dataset.shuffle、batch、repeat的使用详解
09-18
在TensorFlow中，dataset.shuffle、batch和repeat是三个非常重要的数据预处理方法，它们用于构建高效的训练数据流。这些方法在深度学习模型的训练过程中起到关键作用，因为它们可以有效地管理大规模数据集并控制训练...
使用tensorflow DataSet实现高效加载变长文本输入
09-18
1. **TensorFlow DataSet API**：TensorFlow 1.3版本引入了DataSet API，它是一个优化数据流的工具，能高效地处理批量数据，支持shuffle、repeat、batch等操作，特别适合于深度学习模型的训练。 2. **TFRecords文件...
euro-coin-dataset:Roboflow中用于Tensorflow中对象检测的欧元硬币数据集
03-29
欧元硬币数据集 ... €0.02 = 2 0.05欧元= 5 €0.10 = 10 €0.20 = 20 €0.50 = 50 €1.00 = 100 €2.00 = 200 该数据集已用于使用训练CNN（对象检测），我建议将每个文件夹导入到的新数据集中。
CVPR2018:论文笔记
LYROOO的博客
08-07 573
论文：《Image Super-Resolution via Deterministic-Stochastic Synthesis and Local Statistical Rectification》 摘要 高分辨率图像由两部分组成，可确定部分和随即部分。确定性部分可以从低分辨率图像中恢复，随机部分和低分辨率图像相关性很小。我们采用两个互补方法分别生成这两部分。对抗生成网络用于生成随机部分...
######（较深的应用）TensorFlow学习（三）：Graph和Session ######（较深的应用）
木东的博客
03-03 4369
之前讲完变量常量等等基本量的操作，意味着最基本的东西都有了，然后接下来很重要的就是那些量和操作怎么组成更大的集合，怎么运行这个集合。这些就是计算图谱graph和Session的作用了。 IV.Graph https://www.tensorflow.org/versions/r0.11/api_docs/python/framework.html#Graph 一个TensorFlow的运
Tensorflow踩坑记
Nicoder的专栏
09-28 2万+
这里是踩坑纪录，大家如果想看教程的话请出门右转~从前有个小孩，正在学习TF，一开始，写了个逻辑回归的优化程序：import tensorflow as tf import numpy as npx=tf.placeholder("float") y=tf.placeholder("float") w=tf.Variable([1.0,2.0],name='w') y_pred=tf.mul(x,w[
Tensorflow深度学习之十六：placeholder的注解和reshape函数
DaVinciL的博客
08-16 4884
import tensorflow as tf # 定义一个placeholder，用于输入数据 x = tf.placeholder(dtype=tf.float32, shape=[3,4], name="x") # 定义另外一个变量 y = tf.Variable(tf.truncated_normal(shape=[4,5], mean=0.0, stddev=1.0, dtype=t
TensorFlow的convert_variables_to_constants函数
热门推荐
修炼之路
11-12 2万+
前面介绍了通过使用tf.train.Saver函数来保存TensorFlow程序的参数，但是，在使用tf.train.Saver函数保存模型文件的时候，是保存所有的参数信息，而有些时候我们并不需要所有的参数信息。我们只需要知道神经网络的输入层经过前向传播计算得到输出层即可，所以在保存的时候，我们也不需要保存所有的参数，以及变量的初始化、模型保存等辅助节点信息与迁移学习类似。之前使用tf.train
Tensorflow: 保存和复原模型(save and restore)
NG7711
09-01 1万+
目前我主要看到了两种方法来保存和复原tensorflow model，先总结一下:MetaGraph这种就是我们经常看到的 tf.train.Saver　对应的东西。使用这种方法保存模型，会产生两种文件。 meta: 里面存储的是整个graph的定义 checkpoint: 这里保存的是 variable 的状态。 这里通过如下的方式保存一个模型 checkpoint_dir = "mysaver
Tensorflow使用技巧：通过graph.as_graph_def探索函数内部机制
silent56_th的博客
07-20 9231
Tensorflow有tf.Graph类，用于存储计算图。而计算图其实就是由节点和有向边组成，每个点包括操作Op、数值value、类型dtype、形状shape等属性。探索诸如tf.Variable()等函数的内部机制的过程中，就需要查看计算图的变化情况，包括新建了哪些节点，输入是什么等等。例如想要探讨tf.constant函数的内部机制，则运行以下代码：import tensorflow as t
报错ValueError: cannot find dimension new_dim in this group or parent groups
最新发布
06-04
ncfile = nc.Dataset('your_nc_file.nc', 'r') # 检查该维度是否存在 if 'new_dim' not in ncfile.dimensions: # 如果不存在，可以选择创建该维度 ncfile.createDimension('new_dim', size=10) ``` 如果你使用的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值