Tensorflow-制作与使用tfrecord数据集

最新推荐文章于 2024-08-13 16:25:59 发布

Site1997

最新推荐文章于 2024-08-13 16:25:59 发布

阅读量3.4k

点赞数 3

分类专栏：工具使用简介

本文链接：https://blog.csdn.net/Site1997/article/details/79773232

版权

本文详细介绍了如何制作与使用TFrecord数据集，包括从txt文件读取图片信息，预处理图片，序列化并建立索引。同时，推荐使用TensorFlow的Dataset API而不是过时的queue方式来读取数据。此外，文章还提及了TensorFlow的Slim模块，这是一个简化网络构建的工具，强烈推荐尝试。

摘要由CSDN通过智能技术生成

引言

本次博文目的是记录下tfrecord数据集的制作与使用方式。（踩了无数坑OTZ）
这里贴上一个数据读取的官方教程：Tensorflow导入数据以及使用数据
接下来举个例子说明怎么用tfrecord，假设我要做个图片分类的任务。首先，我这里有一个txt文件，包含着所有图片的路径以及它们的标签。还有一个包含许多图片的文件夹。类似下图这样：

准备好了数据后，就可以制作与使用TFrecored啦~

制作TFrecord

当然是先写个制作TFrecord的函数啦。我们先读取图片信息的txt文件，得到每个图片的路径以及它们的标签，然后对这个图片作一些预处理，最后将图片以及它对应的标签序列化，并建立图片和标签的索引（即以下代码的”img_raw”, “label”）。详见代码。

import random
import tensorflow as tf
from PIL import Image

def create_record(records_path, data_path, img_txt):
    # 声明一个TFRecordWriter
    writer = tf.python_io.TFRecordWriter(records_path)
    # 读取图片信息，并且将读入的图片顺序打乱
    img_list = []
    with open(img_txt, 'r') as fr:
        img_list = fr.readlines()
    random.shuffle(img_list)
    cnt = 0
    # 遍历每一张图片信息
    for img_info in img_list:
        # 图片相对路径
        img_name = img_info.split(' ')[0]
        # 图片类别
        img_cls = int(img_info.split(' ')[1])
        img_path = da