1 介绍
本文将mxNet的数据格式转化为tensorflow训练用的数据格式。
2 导入包
import mxnet as mx
import argparse
import PIL.Image
import io
import numpy as np
import cv2
import tensorflow as tf
import os
3 主函数
if __name__ == '__main__':
# define parameters
id2range = {}
data_shape = (3, 112, 112)
args = parse_args()
#idx_path放的是索引;args.bin_path放的是值,读取的话imgrec是一个IO的对象,可以理解为C++里面的类对象,类对象里面有很多成员;
# 比如有成员代表索引,成员代表索引对应的值得等。keys的len代表索引的数量
imgrec = mx.recordio.MXIndexedRecordIO(args.idx_path, args.bin_path, 'r')#索引长度5898396,也就是idx的长度
s = imgrec.read_idx(0)#读取最开始那个索引对应的key_value,不过s是二进制形式的
header, _ = mx.recordio.unpack(s)#header这里存储的是分成2断的索引(key),这个时候不关心对应的数据数据,key是(5822653,5898396)的这一对索引
#(0,5822653)(5822653,5898396)这样把数据分成两段
print(header.label)#header.label就是(5822653,5898396)
#下面是分成两段
imgidx = list(range(1, int(header.label[0])))
seq_identity = range(int(header.label[0]), int(header.label[1]))
for identity in seq_identity:#处理后面那段数据
s = imgrec.read_idx(identity)
header, _ = mx.recordio.unpack(s)
a, b = int(header.label[0]), int(header.label[1])
id2range[identity] = (a, b)#代表的是id为identity的起始索引从a到b,[a,b)
print('id2range', len(id2range))
# # generate tfrecords
mx2tfrecords(imgidx, imgrec, args)
4 转化函数
def mx2tfrecords(imgidx, imgrec, args):#从(0,5822653)的图片
output_path = os.path.join(args.tfrecords_file_path, 'tran.tfrecords')
writer = tf.python_io.TFRecordWriter(output_path)
for i in imgidx:
img_info = imgrec.read_idx(i)#取出第i张图片,包括索引和图片数据
header, img = mx.recordio.unpack(img_info)#解封
label = int(header.label)#取出这张图片的标签
example = tf.train.Example(features=tf.train.Features(feature={
'image_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img])),
"label": tf.train.Feature(int64_list=tf.train.Int64List(value=[label]))
}))#把这张图片的标签和图片数据都存下来
writer.write(example.SerializeToString()) # Serialize To String
if i % 10000 == 0:
print('%d num image processed' % i)
writer.close()
5 关于数据
本文例子中用到的数据可以私聊我要,记得关注一下我的公众号哦。