由浅入深之Tensorflow(3)----数据读取之TFRecords

转载 2018年04月15日 15:23:44

转载至:由浅入深之Tensorflow(3)----数据读取之TFRecords - uprightws - 博客园  https://www.cnblogs.com/upright/p/6136265.html

转载自http://blog.csdn.net/u012759136/article/details/52232266 原文作者github地址

概述

关于Tensorflow读取数据,官网给出了三种方法:

  • 供给数据(Feeding): 在TensorFlow程序运行的每一步, 让Python代码来供给数据。
  • 从文件读取数据: 在TensorFlow图的起始, 让一个输入管线从文件中读取数据。
  • 预加载数据: 在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况)。

对于数据量较小而言,可能一般选择直接将数据加载进内存,然后再分batch输入网络进行训练(tip:使用这种方法时,结合yield 使用更为简洁,大家自己尝试一下吧,我就不赘述了)。但是,如果数据量较大,这样的方法就不适用了,因为太耗内存,所以这时最好使用tensorflow提供的队列queue,也就是第二种方法 从文件读取数据。对于一些特定的读取,比如csv文件格式,官网有相关的描述,在这儿我介绍一种比较通用,高效的读取方法(官网介绍的少),即使用tensorflow内定标准格式——TFRecords

TFRecords

TFRecords其实是一种二进制文件,虽然它不如其他格式好理解,但是它能更好的利用内存,更方便复制和移动,并且不需要单独的标签文件(等会儿就知道为什么了)… …总而言之,这样的文件格式好处多多,所以让我们用起来吧。

TFRecords文件包含了tf.train.Example 协议内存块(protocol buffer)(协议内存块包含了字段 Features)。我们可以写一段代码获取你的数据, 将数据填入到Example协议内存块(protocol buffer),将协议内存块序列化为一个字符串, 并且通过tf.python_io.TFRecordWriter 写入到TFRecords文件。

从TFRecords文件中读取数据, 可以使用tf.TFRecordReadertf.parse_single_example解析器。这个操作可以将Example协议内存块(protocol buffer)解析为张量。

接下来,让我们开始读取数据之旅吧~

生成TFRecords文件

我们使用tf.train.Example来定义我们要填入的数据格式,然后使用tf.python_io.TFRecordWriter来写入。

复制代码
import os
import tensorflow as tf 
from PIL import Image

cwd = os.getcwd()

'''
此处我加载的数据目录如下:
0 -- img1.jpg
     img2.jpg
     img3.jpg
     ...
1 -- img1.jpg
     img2.jpg
     ...
2 -- ...
...
'''
writer = tf.python_io.TFRecordWriter("train.tfrecords")
for index, name in enumerate(classes):
    class_path = cwd + name + "/"
    for img_name in os.listdir(class_path):
        img_path = class_path + img_name
            img = Image.open(img_path)
            img = img.resize((224, 224))
        img_raw = img.tobytes()              #将图片转化为原生bytes
        example = tf.train.Example(features=tf.train.Features(feature={
            "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),
            'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))
        }))
        writer.write(example.SerializeToString())  #序列化为字符串
writer.close()
复制代码

 

关于Example Feature的相关定义和详细内容,我推荐去官网查看相关API。

基本的,一个Example中包含FeaturesFeatures里包含Feature(这里没s)的字典。最后,Feature里包含有一个 FloatList, 或者ByteList,或者Int64List

就这样,我们把相关的信息都存到了一个文件中,所以前面才说不用单独的label文件。而且读取也很方便。

复制代码
for serialized_example in tf.python_io.tf_record_iterator("train.tfrecords"):
    example = tf.train.Example()
    example.ParseFromString(serialized_example)

    image = example.features.feature['image'].bytes_list.value
    label = example.features.feature['label'].int64_list.value
    # 可以做一些预处理之类的
    print image, label
复制代码

使用队列读取

一旦生成了TFRecords文件,接下来就可以使用队列(queue)读取数据了。

复制代码
def read_and_decode(filename):
    #根据文件名生成一个队列
    filename_queue = tf.train.string_input_producer([filename])

    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)   #返回文件名和文件
    features = tf.parse_single_example(serialized_example,
                                       features={
                                           'label': tf.FixedLenFeature([], tf.int64),
                                           'img_raw' : tf.FixedLenFeature([], tf.string),
                                       })

    img = tf.decode_raw(features['img_raw'], tf.uint8)
    img = tf.reshape(img, [224, 224, 3])
    img = tf.cast(img, tf.float32) * (1. / 255) - 0.5
    label = tf.cast(features['label'], tf.int32)

    return img, label
复制代码

之后我们可以在训练的时候这样使用

复制代码
img, label = read_and_decode("train.tfrecords")

#使用shuffle_batch可以随机打乱输入
img_batch, label_batch = tf.train.shuffle_batch([img, label],
                                                batch_size=30, capacity=2000,
                                                min_after_dequeue=1000)
init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    threads = tf.train.start_queue_runners(sess=sess)
    for i in range(3):
        val, l= sess.run([img_batch, label_batch])
        #我们也可以根据需要对val, l进行处理
        #l = to_categorical(l, 12) 
        print(val.shape, l)
复制代码

至此,tensorflow高效从文件读取数据差不多完结了。

恩?等等…什么叫差不多?对了,还有几个注意事项

第一,tensorflow里的graph能够记住状态(state),这使得TFRecordReader能够记住tfrecord的位置,并且始终能返回下一个。而这就要求我们在使用之前,必须初始化整个graph,这里我们使用了函数tf.initialize_all_variables()来进行初始化。

第二,tensorflow中的队列和普通的队列差不多,不过它里面的operationtensor都是符号型的(symbolic),在调用sess.run()时才执行。

第三, TFRecordReader会一直弹出队列中文件的名字,直到队列为空。


总结

  1. 生成tfrecord文件
  2. 定义record reader解析tfrecord文件
  3. 构造一个批生成器(batcher
  4. 构建其他的操作
  5. 初始化所有的操作
  6. 启动QueueRunner
浅闻陋见,还望指正

RFCN识别Pascal VOC 2007

参考: xdever/RFCN-tensorflow PureDiors/pytorch_RFCN daijifeng001/caffe-rfcn TensorFlow implementation ...
  • wc781708249
  • wc781708249
  • 2018-03-20 14:14:54
  • 144

目标检测 - Tensorflow Object Detection API

一. 找到最好的工具       “工欲善其事,必先利其器”,如果你想找一个深度学习框架来解决深度学习问题,TensorFlow 就是你的不二之选,究其原因,也不必过多解释,看过其优雅的代码架构和工程...
  • linolzhang
  • linolzhang
  • 2017-06-25 23:04:05
  • 16597

深度学习在目标检测中的应用及其tensorflowAPI实践(一)

近些年深度学习在图像领域大放光彩,这篇文章先对目标检测领域深度学习的发展做一个总结,再结合一个例子对tensorflow model zoo中的目标检测API使用做一个说明。...
  • luoyang224
  • luoyang224
  • 2017-08-24 14:22:24
  • 3139

Faster R-CNN改进篇(二): RFCN ● RON

@改进1:RFCN       论文:R-FCN: Object Detection via Region-based Fully Convolutional Networks    【点击下载】  ...
  • linolzhang
  • linolzhang
  • 2017-07-15 01:15:40
  • 5356

真正从零开始,TensorFlow详细安装入门图文教程!

 AI这个概念好像突然就火起来了,年初大比分战胜李世石的AlphaGo成功的吸引了大量的关注,但其实看看你的手机上的语音助手,相机上的人脸识别,今日头条上帮你自动筛选出来的新闻,还有各大音乐软件...
  • u014696921
  • u014696921
  • 2016-09-07 16:01:49
  • 7024

TensorFlow入门教程

TensorFlow 一、TensorFlow介绍 1、什么是TensorFlow 官网:https://www.tensorflow.org/TensorFlow是Google开发的一款神...
  • jiangjingxuan
  • jiangjingxuan
  • 2017-02-17 19:52:01
  • 1662

Tensorflow中使用TFRecords高效读取数据--结合NLP数据实践

之前一篇博客在进行论文仿真的时候用到了TFRecords进行数据的读取操作,但是因为当时比较忙,所以没有进行深入学习。这两天看了一下,决定写篇博客专门结合该代码记录一下TFRecords的相关操作。 ...
  • liuchonge
  • liuchonge
  • 2017-06-23 20:15:20
  • 10345

Tensorflow-pb保存与导入

参考: http://blog.csdn.net/u014432647/article/details/75276718 http://blog.csdn.net/zhuiqiuk/article...
  • wc781708249
  • wc781708249
  • 2017-09-20 17:16:14
  • 3149

深度学习在目标检测中的应用及其tensorflowAPI实践(二)

在第一篇里说完了RCNN和fast RCNN,接下来继续说faster RCNN,建议不了解RCNN和fast RCNN的读者先回头了解了RCNN和fast RCNN在继续读下去。...
  • luoyang224
  • luoyang224
  • 2017-09-22 09:46:22
  • 1070

Tensorflow分批量读取tfrecords

Tensorflow分批量读取tfrecords
  • jacke121
  • jacke121
  • 2017-12-17 11:12:20
  • 192
收藏助手
不良信息举报
您举报文章:由浅入深之Tensorflow(3)----数据读取之TFRecords
举报原因:
原因补充:

(最多只允许输入30个字)