image和TFRecord互相转换

转载 2018年04月15日 15:22:30

转载至:image和TFRecord互相转换 - 武方绿 - 博客园  https://www.cnblogs.com/wyh1993/p/6703135.html

光说不练假把式。手上正好有车牌字符的数据集,想把他们写成TFRecord格式,然后读进来,构建一个简单的cnn训练看看。然后发现准确率只有0.0x。随机猜也比这要好点吧。只能一步步检查整个过程。暂时想到问题可能出现的地方:

  • 数据编码解码错误
  • 网络构建问题
  • 学习步长问题
  • 数据量太小
  • label设置

不确定是不是这些问题先检查下,tensorboard能给我们很多信息。今天先检查了图片解码编码问题。在读取数据的时候为image增加一个summary,这样就能在tensorboard上看到图片了。

img=tf.summary.image('input',x,batch_size)

tensorboard的使用之前有说过。出现的结果说我没有图片记录,大约是这个意思。所以我的解码编码程序还是有问题。图片编码成tfreord无非就是把图片数据按照tfrecord的格式填进去。tfrecord是example的集合,example的格式:

message Example {#message类似于类
  Features features = 1;
};

而 Features 是字典集合,(key,value)。

 

下面直接上tfrecord编码解码代码,改好过的。

复制代码
 1 import tensorflow as tf
 2 import numpy as np
 3 import glob
 4 import os
 5 from PIL import Image
 6 def _int64_feature(value):
 7     if not isinstance(value,list):
 8         value=[value]
 9     return tf.train.Feature(int64_list=tf.train.Int64List(value=value))
10 def _byte_feature(value):
11     return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))
12 def encode_to_tfrecords(data_path,name,rows=24,cols=16):#从图片路径读取图片编码成tfrecord
13     folders=os.listdir(data_path)#这里都和我图片的位置有关
14     folders.sort()
15     numclass=len(folders)
16     i=0
17     npic=0
18     writer=tf.python_io.TFRecordWriter(name)
19     for floder in folders:
20         path=data_path+"/"+floder
21         img_names=glob.glob(os.path.join(path,"*.bmp"))
22         for img_name in img_names:
23             img_path=img_name
24             img=Image.open(img_path).convert('P')
25             img=img.resize((cols,rows))
26             img_raw=img.tobytes()
27             labels=[0]*34#我用的是softmax,要和预测值的维度一致
28             labels[i]=1
29             example=tf.train.Example(features=tf.train.Features(feature={#填充example
30                 'image_raw':_byte_feature(img_raw),
31                 'label':_int64_feature(labels)}))
32             writer.write(example.SerializeToString())#把example加入到writer里,最后写到磁盘。
33             npic=npic+1
34         i=i+1
35     writer.close()
36     print npic
37 
38 def decode_from_tfrecord(filequeuelist,rows=24,cols=16):
39     reader=tf.TFRecordReader()#文件读取
40     _,example=reader.read(filequeuelist)
41     features=tf.parse_single_example(example,features={'image_raw':#解码
42             tf.FixedLenFeature([],tf.string),
43             'label':tf.FixedLenFeature([34,1],tf.int64)})
44     image=tf.decode_raw(features['image_raw'],tf.uint8)
45     image.set_shape(rows*cols)
46     image=tf.cast(image,tf.float32)*(1./255)-0.5
47     label=tf.cast(features['label'],tf.int32)
48     return image,label
49     
50 
51 def get_batch(filename_queue,batch_size):
52     with tf.name_scope('get_batch'):
53         [image,label]=decode_from_tfrecord(filename_queue)
54         images,labels=tf.train.shuffle_batch([image,label],batch_size=batch_size,num_threads=2,
55                  capacity=100+3*batch_size,min_after_dequeue=100)  
56         return images,labels
57 
58     
59 def generate_filenamequeue(filequeuelist):
60     filename_queue=tf.train.string_input_producer(filequeuelist,num_epochs=5)
61     return filename_queue
62 
63 def test(filename,batch_size):
64     filename_queue=generate_filenamequeue(filename)
65     [images,labels]=get_batch(filename_queue,batch_size)
66     init_op = tf.group(tf.global_variables_initializer(),
67                        tf.local_variables_initializer())
68     sess=tf.InteractiveSession()
69     sess.run(init_op)
70     coord=tf.train.Coordinator()
71     threads=tf.train.start_queue_runners(sess=sess,coord=coord)
72     i=0
73     try:
74         while not coord.should_stop():
75             image,label=sess.run([images,labels])
76             i=i+1
77             if i%1000==0:
78                 for j in range(batch_size):#之前tfrecord编码的时候,数据范围变成[-0.5,0.5],现在相当于逆操作,把数据变成图片像素值
79                     image[j]=(image[j]+0.5)*255
80                     ar=np.asarray(image[j],np.uint8)
81                     #image[j]=tf.cast(image[j],tf.uint8)
82                     print ar.shape
83                     img=Image.frombytes("P",(16,24),ar.tostring())#函数参数中宽度高度要注意。构建24×16的图片
84                     img.save("/home/wen/MNIST_data/reverse_%d.bmp"%(i+j),"BMP")#保存部分图片查看
85             '''if(i>710):
86                 print("step %d"%(i))
87                 print image
88                 print label'''
89     except tf.errors.OutOfRangeError:
90         print('Done training -- epoch limit reached')
91     finally:
92     # When done, ask the threads to stop.
93         coord.request_stop()
94 
95 # Wait for threads to finish.
96     coord.join(threads)
97     sess.close()
复制代码

读取文件的动态图,来自官网教程

在文件夹中:

在tensorboard里:

终于看见熟悉的图片了,现在数据编码解码没问题,效果依然0.0x。。。。

错误改掉一个少一个,接着检查其他部分。

debug过程中,一直在google,stackoverflow,官网documents,度娘略微鸡肋。

***********************************************************************************************************************************************************************************************

 

猜测是同类样本集中b并且同类数据多,用batch_shuffle装进来的都还是同类

 

标签: tensorflow

tensorflow之图片与tfrecord之间的转化

#!/usr/bin/env python # -*- coding: utf-8 -*- import os import tensorflow as tf from PIL import Ima...
  • lpa123
  • lpa123
  • 2018-03-17 14:39:42
  • 57

将图像转为TFRecord文件并读取TFRecord文件

1 TFRecord格式介绍 对于大量的图像数据,TensorFlow提供了一种统一的格式来存储数据——TFRecord。TFRecord文件是以二进制进行存储数据的,适合以串行的方式读取大批量数据,...
  • JinbaoSite
  • JinbaoSite
  • 2017-07-15 21:43:53
  • 7893

TFRecord 的使用

什么是 TFRecord              PS:这段内容摘自 http://wiki.jikexueyuan.com/project/tensorflow-zh/how_tos/readi...
  • xueyingxue001
  • xueyingxue001
  • 2017-04-01 13:53:58
  • 8873

制作自己的tfrecords数据集

最近想要制作自己的图像数据集,看了很多网上的教程,但是坑太多。。。。现在为了让大家少踩坑,附上全部代码,其中包括tfrecords格式数据集的制作与读取。 import os os.environ[...
  • GISLN
  • GISLN
  • 2017-04-09 16:16:35
  • 1813

Notes on tensorflow(七)将数据集转换为TFRecord

TFRecord是tensorflow使用的数据格式, 类似于caffe的imdb,mxnet的recordio。使用框架定义的数据格式好处是有强大的框架支持,例如封装了数据解析、多线程等操作, 使用...
  • weixin_35653315
  • weixin_35653315
  • 2017-04-30 13:46:40
  • 6988

TensorFlow学习笔记(二十四)自制TFRecord数据集 读取、显示及代码详解

在跑通了官网的mnist和cifar10数据之后,笔者尝试着制作自己的数据集,并保存,读入,显示。 TensorFlow可以支持cifar10的数据格式, 也提供了标准的TFRecord 格式,而关于...
  • qq_36330643
  • qq_36330643
  • 2017-08-18 10:29:03
  • 1421

Tensorflow 中TFRecord格式转换与读取

把csv格式文件转化为TFRecordTensorflow提供了TFRecord格式来存储数据,以下是将csv格式转化为TFRecord格式的代码import tensorflow as tf imp...
  • qq1483661204
  • qq1483661204
  • 2017-12-29 15:55:15
  • 324

TensorFlow TFRecord格式

TFRecord 文件中的数据都是通过 tf.train.Example 以 Protocol Buffer(以下简称PB) 的格式存储。...
  • u014182497
  • u014182497
  • 2017-07-05 11:15:46
  • 1221

PDF与IMAGE互相转化

所需jar包 1、http://download.csdn.net/detail/flykos/9858599 2、http://download.csdn.net/detail/flykos/9...
  • Flykos
  • Flykos
  • 2017-06-02 14:16:19
  • 537

学习笔记TF016:CNN实现、数据集、TFRecord、加载图像、模型、训练、调试

AlexNet(Alex Krizhevsky,ILSVRC2012冠军)适合做图像分类。层自左向右、自上向下读取,关联层分为一组,高度、宽度减小,深度增加。深度增加减少网络计算量。训练模型数据集 S...
  • weixin_38776853
  • weixin_38776853
  • 2017-05-30 20:00:43
  • 2327
收藏助手
不良信息举报
您举报文章:image和TFRecord互相转换
举报原因:
原因补充:

(最多只允许输入30个字)