将自己的数据集制作成TFRecord格式

最新推荐文章于 2024-08-22 09:03:37 发布
最新推荐文章于 2024-08-22 09:03:37 发布
阅读量1.7w 收藏 53
点赞数 12
分类专栏： TensorFlow 教程 深度学习 文章标签： TensorFlow TFRecord 制作数据集 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/v1_vivian/article/details/77898414
版权
本文详细介绍了如何将数据集转化为TFRecord格式，以供TensorFlow神经网络训练使用。内容包括原始数据集的准备，通过代码将图片分类数据制作成TFRecord文件，利用文件队列和多线程读取数据，以及如何打包成batch作为网络输入。
摘要由CSDN通过智能技术生成

在使用TensorFlow训练神经网络时，首先面临的问题是：网络的输入

此篇文章，教大家将自己的数据集制作成TFRecord格式，feed进网络，除了TFRecord格式，TensorFlow也支持其他格

式的数据，此处就不再介绍了。建议大家使用TFRecord格式，在后面可以通过api进行多线程的读取文件队列。

1. 原本的数据集

此时，我有两类图片，分别是xiansu100,xiansu60,每一类中有10张图片。





2.制作成TFRecord格式

tfrecord会根据你选择输入文件的类，自动给每一类打上同样的标签。如在本例中，只有0,1 两类，想知道文件夹名与label关系的，可以自己保存起来。

最低0.47元/天 解锁文章
v1_vivian
关注
专栏目录
Tensorflow-制作与使用tfrecord数据集
Site1997的博客
03-31 3494
引言   本次博文目的是记录下tfrecord数据集的制作与使用方式。（踩了无数坑OTZ）   这里贴上一个数据读取的官方教程：Tensorflow导入数据以及使用数据   接下来举个例子说明怎么用tfrecord，假设我要做个图片分类的任务。首先，我这里有一个txt文件，包含着所有图片的路径以及它们的标签。还有一个包含许多图片的文件夹。类似下图这样：   准备好了数据后，就可以制...
将数据集转化为TFRecords格式
El Psy Congroo
09-08 2495
参考文章：How to write into and read from a TFRecords file in TensorFlow 简介 TFRecords是TensorFlow的标准格式
Spark-TFRecord 使用教程
最新发布
gitblog_00189的博客
08-22 834
Spark-TFRecord 使用教程 spark-tfrecordRead and write Tensorflow TFRecord data from Apache Spark.项目地址:https://gitcode.com/gh_mirrors/sp/spark-tfrecord 项目介绍 Spark-TFRecord 是一个由 LinkedIn 开发的开源项目，旨在支持 Apache...
将数据集转化为tfrecord并读取tfrecord
高円樹一
10-07 2090
**//将数据集转化为tfrecord** import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import numpy as np def _int64_feature(value): ...
数据集类型转换—TFRecords文件
Peyzhang的博客
08-03 634
格式：TFRecord 可以理解为一系列序列化的 tf.train.Example 元素所组成的列表文件，而每一个 tf.train.Example 又由若干个 tf.train.Feature 的字典组成。
训练数据集与TFRecord互相转换
evolution23的博客
02-21 1318
转载自《训练数据集与TFRecord互相转换的两种方式》 TensorFlow使用TFRecord格式来统一存储数据，该格式可以将图像数据、标签信息、图像路径以及宽高等不同类型的信息放在一起进行统一存储，从而方便有效的管理不同的属性。 将训练数据集转成TFRecord 这里采用的数据集为目前正在做的项目的数据集，共包含两个目标文件夹(分别包含100幅图像)及对应的label.txt，labe...
将自己的数据集制作成TFRecord格式教程
12-20
在使用TensorFlow进行深度学习模型训练时，数据预处理是一个至关重要的步骤，而将数据集转化为TFRecord格式是其中常见的做法。TFRecord是一种高效的、基于文件的存储格式，由TensorFlow提供，它允许我们将大量的数据...
tfrecord制作数据集
06-18
准备材料，图片的数据集，含有标签数据的txt文件，其中的格式是“图片名 标签”，然后修改对应路径，运行。
cifar数据集包括其TfRecord格式文件
05-28
CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题，其任务是对一组32x32RGB的图像进行分类，这些图像涵盖了10个...另外包括其制作而成的tfrecord文件，具体使用方法可参见博客； 用于训练vgg、resnet等网络
图片数据集打包成TFRecord格式的方法
u014611178的博客
12-18 970
数据准备 google的flower数据集http://download.tensorflow.org/example_images/flower_photos.tgz 从上述链接下载的图片数据集放在本地，这里我的存放目录是：/home/tf/source/my_flowers_5/mydata。 该数据集有5个分类，共有3670张图片。 daisy(邹菊)类有633张图片，dandeli...
简单分类--------将自己的图片数据集制作成TFRecord格式（一）
weixin_39781462的博客
06-25 4697
使用自己的数据集训练深度学习网络，需要将数据集加载到网络中去，这里我们把数据集转化成tfrecord格式来进行加载。TFRecord 数据文件是一种将图像和标签统一存储的 二进制文件，它能更好的利用内存，在 TensorFlow 中快速的复制，移动，存储，读取等。1. 整理好自己的数据集。将某一类图片放到一个文件夹内，如下图所示六类图片{'bo_luo_tai', 'chi_hen', 'dian...
MNIST数据集转换成TFRecord文件
ZHUQIUSHI123的博客
04-02 1038
TFRecord 文件中的数据都是通过 tf.train.Example Protocol Buffer 的格式存储的。以下为 tf.train.Example 的数据结构： message Example { Features features = 1; }; message Features{ map<string, Feature> feature = 1; }; messa...
图片与TFRecord 数据格式的相互转换（一）
David's Tweet
05-31 8677
一、实现图片向TFRecord的转换（1）假设文件夹G:\Exercise\Python\tfrecord中有两张图片，分别为：0.jpg, 1.jpg，如下图所示：（2）新建命名为：”image_information.txt_bak“的文件夹，其中内容为：它存取了图片所在的文件夹信息，以及每张图片的label（3）并新建命名为“Img2Tfrecord.py”的python文件，用于编程实现j...
tensorflow中tfrecord数据操作
爱吃火锅的博客
07-24 1万+
前言： 为了更加展示tfrecord数据的相关操作，笔者后续又写了一个实践的简单例子进一步解释，具体可以看： https://blog.csdn.net/weixin_42001089/article/details/90236241 正文： tfrecord数据文件是一种将图像数据和标签统一存储的二进制文件，能更好的利用内存，在tensorflow中快速的复制，移动，读取，存储等. 一...
如何制作并读取TFrecord格式的数据集（一）
qq_41596730的博客
11-08 708
问题引入 在深度学习中，一个好的数据集必不可少。在使用tensorflow进行图像分类任务中，往往不少同学都是直接从硬盘直接加载图片，在内存进行预处理等工作后，直接输入给网络进行训练。如果你的数据集比较小，这种方式对你的内存不会造成太大的负担，代码跑起来速度还可以，可是当你的数据集特别大的时候，再从硬盘加载图片到内存进行训练，就显得特别吃力了。这个时候我们就需要用到tensorflow建议使用的统...
深度学习实战教程（3）--（TensorFlow）inception_v4模型跑Google Flower数据集
热门推荐
对角巷
07-27 2万+
模型：slim框架下的Inception_v4模型 Inception_v4的Checkpoint：http://download.tensorflow.org/models/inception_v4_2016_09_09.tar.gz 数据集：google的flower数据集http://download.tensorflow.org/example_images/flower_photos.
TensorFlow学习笔记（二十四）自制TFRecord数据集 读取、显示及代码详解
春华秋实
08-18 1万+
在跑通了官网的mnist和cifar10数据之后，笔者尝试着制作自己的数据集，并保存，读入，显示。 TensorFlow可以支持cifar10的数据格式， 也提供了标准的TFRecord 格式，而关于 tensorflow 读取数据， 官网提供了3中方法 1 Feeding： 在tensorflow程序运行的每一步， 用python代码在线提供数据 2 Reader ： 在一个计算图（tf.g
使用 tfrecord 制作自己的数据集 （附上源代码）
qq_24193303的博客
04-19 1643
相信很多刚入手深度学习的人，最早接触的程序就是Mnist 手写数字的识别。Mnist 数据集都已被事先整理好，我们只有拿来用即可。但是如何制作自己的数据集，相信很多刚入门的人还是会一团雾水。作为刚入门不就的小白，我也花了很长时间才完整的制作了自己的数据集。制作自己的数据集，大概可以分为这么几步：Step1.首先要去收集自己的数据吧，可以是自己拍的图片，也可以是那种网上爬虫爬下来的图片。Step2....
制作mnist格式数据集
03-29
MNIST（Modified National Institute of Standards and Technology）是一个手写数字识别的经典数据集，包含60,000个训练样本和10,000个测试样本，每个样本都是一个28x28像素的灰度图像。以下是创建MNIST格式数据集的步骤： 1. 下载MNIST数据集 可以从官网下载MNIST数据集，也可以使用TensorFlow等深度学习框架内置的MNIST数据集。下载后的数据集包含四个文件： - train-images-idx3-ubyte.gz：训练集图像 - train-labels-idx1-ubyte.gz：训练集标签 - t10k-images-idx3-ubyte.gz：测试集图像 - t10k-labels-idx1-ubyte.gz：测试集标签 2. 解压数据集 使用gzip库解压缩数据集文件： ```python import gzip def extract_data(filename, num_data, data_size, offset): with gzip.open(filename) as f: f.read(offset) buf = f.read(data_size * num_data) data = np.frombuffer(buf, dtype=np.uint8).astype(np.float32) return data.reshape(num_data, data_size) train_images = extract_data('train-images-idx3-ubyte.gz', 60000, 784, 16) train_labels = extract_data('train-labels-idx1-ubyte.gz', 60000, 1, 8) test_images = extract_data('t10k-images-idx3-ubyte.gz', 10000, 784, 16) test_labels = extract_data('t10k-labels-idx1-ubyte.gz', 10000, 1, 8) ``` 3. 将数据集转为TFRecord格式 TFRecord格式是一种二进制格式，可以更高效地存储和读取数据集。可以使用TensorFlow内置的tf.data.Dataset API将数据集转为TFRecord格式： ```python import tensorflow as tf def write_tfrecord(images, labels, filename): with tf.io.TFRecordWriter(filename) as writer: for i in range(images.shape[0]): image_raw = images[i].tostring() example = tf.train.Example(features=tf.train.Features(feature={ 'image': tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_raw])), 'label': tf.train.Feature(int64_list=tf.train.Int64List(value=[labels[i]])) })) writer.write(example.SerializeToString()) write_tfrecord(train_images, train_labels, 'train.tfrecord') write_tfrecord(test_images, test_labels, 'test.tfrecord') ``` 4. 读取TFRecord格式数据集 可以使用TensorFlow内置的tf.data.Dataset API读取TFRecord格式数据集： ```python def read_tfrecord(filename): feature_description = { 'image': tf.io.FixedLenFeature([], tf.string), 'label': tf.io.FixedLenFeature([], tf.int64) } def _parse_example(example_string): feature_dict = tf.io.parse_single_example(example_string, feature_description) image = tf.io.decode_raw(feature_dict['image'], tf.uint8) image = tf.cast(image, tf.float32) / 255.0 image = tf.reshape(image, [28, 28, 1]) label = tf.cast(feature_dict['label'], tf.int32) return image, label dataset = tf.data.TFRecordDataset(filename) dataset = dataset.map(_parse_example) return dataset train_dataset = read_tfrecord('train.tfrecord') test_dataset = read_tfrecord('test.tfrecord') ```
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值