tfrecord读取时因tf.decode_raw的输出类型type导致的shape前后不一致问题

最新推荐文章于 2022-03-18 19:09:05 发布
最新推荐文章于 2022-03-18 19:09:05 发布
阅读量1.1k 收藏 1
点赞数 1
文章标签： tensorflow decode_raw 数据类型dtype tfrecord 音频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42815385/article/details/89241561
版权

有两次在读取tfrecord中的数据时报shape的问题了！
是什么原因呢？ 慢慢debug才发现原来是数据类型的原因！！

在写入tfrecord时也就是将数据tobytes()的时候数据的类型是float32

但是在训练前读取tfrecord中数据tf.decode_raw时，用的是：
tf.decode_raw(frames, np.uint8)！！！ np.uint8指的是数据流输出np.uint8类型数据，因此前后的shape肯定不一致。

正确做法是将导入tfrecord和导出tfrecord的数据类型一致，如果想使用tf.decode_raw(frames, np.uint8)则在写入tfrecord时也就是将数据tobytes()的时候将数据变为uint8即可

人间兵库saleng
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
tensorflow入门:tfrecord 和tf.data.TFRecordDataset的使用
09-18
feature = tf.decode_raw(parsed_features['feature'], tf.uint8) feature = tf.reshape(feature, parsed_features['shape']) label = parsed_features['label'] return feature, label dataset = dataset.map...
解决Keras中循环使用K.ctc_decode内存不释放的问题
09-16
然而，当在循环中反复调用`K.ctc_decode`时，可能会遇到内存不释放的问题，导致程序运行速度变慢，内存占用逐渐增大。这是因为每次调用`K.ctc_decode`都会在计算图中增加一个新的节点，使得计算图变得越来越大。 ...
TensorFlow resize_images函数导致TFRecord产生形状不匹配
u014524930的博客
02-09 732
一般我们在遇到训练图像大小不统一时，都需要将其统一大小，而TensorFlow提供resize_images函数，然而按一般能找到的资料的使用方式一般是先调用resize_images调整图像大小，然后将其存入TFRecord。但是我们知道像素值是没有小数的，每个通道的值都是0-255，神奇的是在使用resize_images后，进行插值计算后，数据矩阵中的值会被强行变成小数也就是浮点型，本来是无...
疑问点1
yegeli的博客
09-21 329
1. tf.parse_single_example()函数 tf.parse_single_example( serialized, features, name=None, example_names=None ) 定义于：tensorflow/python/ops/parsing_ops.py。 解析一个Example原型。 类似于parse_example，除了： 对于稠密型Tensor，返回的Tensor与parse_example的输出相同。除了没有batch的维度，输出的形状与dense_sh
tf.deconde_raw和tf.cast的区别
Xiami2019的博客
10-14 1298
tf.decode_raw的意思是将原来编码为字符串类型的变量重新变回来。 tf.cast函数直接用于数据类型的转变     tf.add_to_collection：把变量放入一个集合，把很多变量变成一个列表 tf.get_collection：从一个结合中取出全部变量，是一个列表   tf.add_n：把一个列表的东西都依次加起来...
tf.decode_raw与tf.cast的区别
Avalon
08-27 1万+
tf.decode_raw tf.decode_raw函数的意思是将原来编码为字符串类型的变量重新变回来，这个方法在数据集dataset中很常用，因为制作图片源数据一般写进tfrecord里用to_bytes的形式，也就是字符串。这里将原始数据取出来 必须制定原始数据的格式，原始数据是什么格式这里解析必须是什么格式，要不然会出现形状的不对应问题！ 例如元数据是tf.float64然后to_...
tf中几个shape问题
HK_John的博客
10-12 1633
tf中有两对方法比较容易混淆，涉及的是shape问题，在此做一些区分。 首先说明tf中tensor有两种shape，分别为static (inferred) shape和dynamic (true) shape，其中static shape用于构建图，由创建这个tensor的op推断（inferred）得来，故又称inferred shape。如果该tensor的static shape未定
sys_decode_2.zip_MFC zip unzip_WebCamLib_Sample.zip_decode_mfc z
09-23
在处理ZIP文件时，可能需要使用到CFile或其派生类来读取和写入文件，以便将文件解压缩或压缩到ZIP文件中。 2. **ZIP文件处理**： ZIP是一种广泛使用的文件归档和压缩格式，通常用于打包多个文件到一个单一的可传输...
ga.zip_93gam.com_GA_GAM88888888_ga_decode_matlab-GA
09-19
2. "decode.m"：解码函数，将编码的个体转换为实际的解决方案或参数。 3. "crossover.m"：交叉操作，模拟生物遗传中的重组过程，用于生成新的个体。 4. "select.m"：选择操作，根据适应度选择下一代的个体。 5. ...
AFAFAFAF.rar_76afaf.cocom_8psk_decode forward_decode-and-forward
09-14
在无线通信领域，解码转发（Decode-and-Forward, DF）是一种常见的中继策略，用于提高网络的覆盖范围和通信质量。"AFAFAFAF.rar_76afaf.cocom_8psk_decode forward_decode-and-forward"这个压缩包文件名暗示了其内容...
tensorflow学习笔记8——图像数据的预处理（cifar10的例子）
qq_40549606的博客
11-13 974
然后分成2部分：train和valid。其中train是取前45000条，然后用batch分成一批批（每批100条），一共要做300个epoch（repeat(300））。 我们来计算一下： 每个 Epoch 要训练的图片数量：45000(训练集上的所有图像) 训练集具有的 Batch 个数： 45000/100=450 每个 Epoch 需要完成的 Batch 个数： 450 每个 Epoc...
TensorFlow学习笔记（二十四）自制TFRecord数据集 读取、显示及代码详解
春华秋实
08-18 1万+
在跑通了官网的mnist和cifar10数据之后，笔者尝试着制作自己的数据集，并保存，读入，显示。 TensorFlow可以支持cifar10的数据格式， 也提供了标准的TFRecord 格式，而关于 tensorflow 读取数据， 官网提供了3中方法 1 Feeding： 在tensorflow程序运行的每一步， 用python代码在线提供数据 2 Reader ： 在一个计算图（tf.g
tensorflow遇到问题记录之decode_raw()
qq_21956177的博客
12-23 2193
程序如下： 出现问题如下： 解决方案：tf.decode_raw()解析固定长度的数据，对于数据格式有一定的要求，应改为tf.uint8 改了之后又出问题啦：提示：Raise valueerror：All shape must be fully defined:…… 读取时读取的是不定长度的路径，因此应修改为如下： 最后成功运行啦！ ...
TensorFlow读取tfrecords数据
m0_37041325的博客
07-09 1340
因为要用到TensorFlow，自然少不了数据的读取，这里我自己写了一个tfrecords的数据的读取函数 """ Created on Wed Jun 28 13:56:35 2017 @author:liao """ import tensorflow as tf import numpy as np from PIL import Image import pprint
生成tfrecords文件（29）---《深度学习》
阿华Go，从现在开始的博客
11-24 449
先将图片转化为tfrecords文件，然后将tfrecords文件进行批量恢复！import os import tensorflow as tf from PIL import Image #注意Image,后面会用到 import matplotlib.pyplot as plt import numpy as np import os.path import timedef read_
tensorflow代码学习：读取并显示图片
he_wen_jie的博客
04-25 1万+
# -*- coding: utf-8 -*- import tensorflow as tf filename = '2.jpg' with tf.gfile.FastGFile(filename,'rb') as f: image_data = f.read() with tf.Session() as sess: image = sess.run(image_data)...
【Tensorflow】tf.nn.relu函数
热门推荐
zj360202的专栏
04-20 2万+
tf.nn.relu(features, name=None)  = max(0, features) 参数： features：A `Tensor`. 必须类型: `float32`, `float64`, `int32`, `int64`, `uint8`, `int16`, `int8`, `uint16`, `half`. name：名称 返回：Tensor
tfrecord原理详解 手把手教生成tfrecord文件与解析tfrecord文件
bitcarmanlee的博客
03-18 8729
1.什么是tfrecord TFRecord 是Google官方推荐的一种数据格式，是Google专门为TensorFlow设计的一种数据格式。 TFRecord本质上是二进制文件，目的是更好的利用内存。用户可以将训练集/测试集打包成生成TFRecord文件，后续就可以配合TF中相关的API实现数据的加载，处理，训练等一系列工作，可以方便高效的训练与评估模型。 2.tfrecord原理 TFRecord 并非是TensorFlow唯一支持的数据格式，你也可以使用CSV或文本等格式，但是对于TensorFlo
tensorflow读取文件数据
sb_ers的博客
02-23 3232
TensorFlow程序读取数据一共有3种方法:供给数据(Feeding)： 在TensorFlow程序运行的每一步， 让Python代码来供给数据。 从文件读取数据： 在TensorFlow图的起始， 让一个输入管线从文件中读取数据。 预加载数据： 在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况)。使用Tensorflow训练神经网络模型，首先要读取数据，比
decode_raw和tf.image.decode_jpeg的区别
最新发布
03-07
decode_raw是TensorFlow中的一个函数，用于将二进制数据解码为张量。而tf.image.decode_jpeg是用于将JPEG格式的图像解码为张量。两者的区别在于，decode_raw可以解码任何类型的二进制数据，而tf.image.decode_jpeg只能解码JPEG格式的图像。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值