将大量图片或其数组导入 TFRecord 文件

最新推荐文章于 2020-10-13 07:25:42 发布
最新推荐文章于 2020-10-13 07:25:42 发布
阅读量361 收藏 1
点赞数 2
分类专栏： PHM项目实战--建模篇 Tensorflow 2.0 文章标签： python tensorflow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758914/article/details/108422374
版权
PHM项目实战--建模篇 同时被 2 个专栏收录
23 篇文章 507 订阅 ¥79.90 ¥99.00
订阅专栏
Tensorflow 2.0
98 篇文章 110 订阅
订阅专栏

文章目录

项目介绍

在做深度学习项目时往往涉及到大量图片（及其数组）的制作与导入，这往往会占用大量内存导致系统崩溃。这时，TFRecord 文件的使用就变得尤为重要了，我们一般会先将数据或图片存入一个 TFRecord 文件，然后在涉及模型训练的文件中直接使用 TFRecord 文件来导入数据。

【注】对 TFRecord 文件具体说明的朋友可移步至：Tensorflow2.0 之 TFRecord 文件的写入与读取。

在此文章中，我们会给出三个实例，第一个是直接将现有的图片导入 TFRecord 文件再读取出来；第二个是将 .py 文件中生成的大量数组数据导入 TFRecord 文件再读取出来；第三个是将信号数据、图片数据、标签一起导入 TFRecord 文件再读取出来。

实例一：现有图片

在实例一中，我们已有大量图片存在 ‘./faces/’ 文件夹中，我们会将这些图片先写入 TFRecord 文件再从这个 TFRecord 文件中读取出来。其中，TFRecord 文件命名为 train.tfrecords，放在 tfrecord_files 文件夹下。

1、写入 TFRecord 文件

1.1 导入需要的库

import tensorflow as tf
了解本专栏 订阅专栏 解锁全文
cofisher
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
将数组写成tfrecord
weixin_30433075的博客
11-27 217
#!/usr/bin/env pythonimport tensorflow as tfimport numpy as np# write = tf.python_io.TFRecordWriter('train.tfrecords')# #img_raw = np.random.random_integers(0, 255, size=(7, 30)) # 创建7*30，取值在0-2...
TensorFlow2.0 TFrecord数据集的写入、读取和训练示例详解
热门推荐
SweetWind1996的博客
12-03 1万+
本文的数据集是存放在两个文件夹：1和2，其中每个文件夹包含200张彩色图像。每张图像的大小为（32x32x3），均为.png。 关于TF2.0中TFrecord的一些基础内容请参考：TFRecord ：TensorFlow 数据集存储格式 参考以上教程，我们设计输入和输出都为图像的端到端卷积网络。步骤如下： 准备数据 将数据写入TFrecord文件 读取TFrecord文件 用Ker...
TensorFlow的数据pipeline系列：Datasets+TFRecord的数据导入（二）
MIss-Y的博客
03-24 2405
前言：前面已经有两篇文章专门介绍关于TensorFlow的tfrecord文件如何读写以及怎么使用DataSets来制作数据输入pipeline，可以参见前面两篇文章： TensorFlow之tfrecords文件详细教程 tensorflow的Data Pipeline系列教程（一）——Dataset类的属性即常用方法 ​另外，阅读本文的前提条件是一到什么是特征feature，什么是样本e...
tensorflow将图片保存为tfrecord和tfrecord的读取
修炼之路
10-27 1万+
tensorflow官方提供了3种方法来读取数据： 预加载数据(preloaded data)：在TensorFlow图中定义常量或变量来保存所有的数据，适用于数据量不太大的情况。 填充数据(feeding)：通过Python产生数据，然后再把数据填充到后端。 从文件读取数据(reading from file)：从文件中直接读取，然后通过队列管理器从文件中读取数据。 本文主要介绍第三种方法...
tensorflow将图片保存为tfrecord和tfrecord的读取方式
09-17
今天小编就为大家分享一篇tensorflow将图片保存为tfrecord和tfrecord的读取方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解析PHP中如何将数组变量写入文件
10-27
本篇文章是对PHP中如何将数组变量写入文件的方法进行了详细的分析介绍，需要的朋友参考下
php中将数组存到文件里的实现代码
10-28
php的数组十分强大，有些数据不存入数据库直接写到文件上，用的时候直接require
C++将txt文件内容保存到数组的方法
08-27
C++将txt文件内容保存到数组的方法 C++是一种强大的编程语言，它提供了多种方式来处理文件操作，其中包括读取和写入txt文件。在实际应用中，我们经常需要将txt文件的内容保存到数组中，以便于后续的数据处理。本文...
将数组写入txt文件 var_export
10-30
这个函数在处理数组时特别有用，特别是当你需要将数组保存到文件或者在其他地方重新构建相同的数组时。在你的问题中，你想要将一个数组写入一个文本文件，`var_export()` 就是实现这一目标的关键。 标题中的 "将...
关于tfrecord写入和取出图片的维度不同
编程之路
09-13 740
写入: ima = img_array[index][1].tobytes() example = tf.train.Example( features=tf.train.Features( feature={ 'label': _int64_feature( int(img_array[index][0])), # label ...
将图片数据转换成TFrecord格式
daoyone的博客
11-17 1347
Tensorflow提供了TFrecord格式来存储数据。下面介绍如何将自己的图像数据转换为TFrecord格式。 创建TFrecord格式文件： def creat_tfrecord(class_path,size): writer = tf.python_io.TFRecordWriter("train.tfrecords") for img_name in os.listdi...
最简单的TFRecord数据的生成与读取实例(未完待续)
诗人的情人
06-14 1181
生成tfrecord文件 import tensorflow as tf def write_test(output): writer = tf.python_io.TFRecordWriter(output) with tf.Session() as sess: for i in range(4): example = tf.train.E...
Tensorflow生成自己的图片数据集TFrecords(支持多标签label)
AI吃大瓜的博客
06-29 1万+
Tensorflow生成自己的图片数据集TFrecords        尊重原创，转载请注明出处：https://blog.csdn.net/guyuealian/article/details/80857228        使用TensorFlow进行网络训练时，为了提高读取数据的效率，一般建议将训练数据转换为TFrecords格式。为了方面调用，本博客提供一个可通用，已经封装好的cre...
图片数据集打包成TFRecord格式的方法
u014611178的博客
12-18 962
数据准备 google的flower数据集http://download.tensorflow.org/example_images/flower_photos.tgz 从上述链接下载的图片数据集放在本地，这里我的存放目录是：/home/tf/source/my_flowers_5/mydata。 该数据集有5个分类，共有3670张图片。 daisy(邹菊)类有633张图片，dandeli...
TensorFlow 读取图片并写入tfrecord
廷益_飞鸟的博客
04-16 275
import os import tensorflow as tf from matplotlib import pyplot as plt import numpy as np from sklearn.utils import shuffle from PIL import Image %matplotlib inline from tqdm import tqdm print(tf.__...
tfrecord图像分类_如何在tfrecord文件上训练图像分类器
weixin_26712095的博客
10-13 471
tfrecord图像分类TFRecords简介(Introduction to TFRecords) TFRecords store a sequence of binary records, which are read linearly. They are useful format for storing data because they can be read efficiently. ...
将图片数据保存为单个tfrecord文件
一抹烟霞的博客
12-22 464
# Author Qian Chenglong # -*-coding: utf-8 -*- import tensorflow as tf import numpy as np import os import cv2 import matplotlib.pyplot as plt import random from PIL import Image ###############...
tensorflow读取数据-tfrecord格式
yuelulu0629的专栏
08-06 1520
概述： 关于tensorflow读取数据，官网给出了三种方法： 1、供给数据：在tensorflow程序运行的每一步，让python代码来供给数据 2、从文件读取数据：建立输入管线从文件中读取数据 3、预加载数据：如果数据量不太大，可以在程序中定义常量或者变量来保存所有的数据。 这里主要介绍一种比较通用、高效的数据读取方法，就是tensorflow官方推荐的标准格式：tfrecord
将图片以数组导入到测试集中
最新发布
04-24
好的，您可以采用以下步骤将图片以数组导入到测试集中： 1.首先安装必要的Python模块，如Numpy、Pillow和OpenCV等。 2.使用Pillow库打开图片文件，然后将其转换为Numpy数组，如下所示： ``` from PIL import Image import numpy as np image = Image.open('test.jpg') image_array = np.array(image) ``` 3.将图像数组调整为适当的大小（例如32x32或224x224），并将其压缩到0到1的范围内。 4.将处理后的图像数组添加到测试集中，如下所示： ``` test_data = [] test_data.append(image_array) ``` 这样，您就可以将图像以数组导入到测试集中了。希望这能对您有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cofisher

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值