使用tensorflowl的高级API——tf.data来导入训练网络所需数据

之前我是用tf.records来处理训练数据的。但是这次训练的数据比较特殊，输入不是图像，而是256通道的feature map（数据格式我保存成了npy）。所以这次，我换了一种导入数据的方式——tf.data

创建dataset

	#创建dataset的占位符
	x=tf.placeholder(tf.float32,shape=[None,6,6,256])
	y=tf.placeholder(tf.float32,shape=[None,1])
	z=tf.placeholder(tf.float32,shape=[None,4])
	#根据占位符创建dataset
	dataset = tf.data.Dataset.from_tensor_slices((x,y,z))
	#打乱dataset的顺序，下一个元素将从该固定大小为buffer_size的缓存中均匀地选取
	dataset = dataset.shuffle(buffer_size=500)
	#repeat()里的参数表示dataset的重复次数，默认为无限次；batch()会对数据进行分批处理
	dataset = dataset.batch(BATCH_SIZE).repeat()

tf.data.Dataset.from_tensor_slices()也接受numpy array数据，但是当数据过大时很消耗内存。因此，推荐使用占位符的方法来导入数据。占位符的另外一个优点是：可以动态地修改 Dataset 中的数据，这在后面分别计算training set和validation set的loss时非常重要。

创建迭代器

tf.data的迭代器有四种类型：

one shot迭代器：dataset.one_shot_iterator() ，此时的dataset应该是由numpy array导入的

可初始化的迭代器：dataset.make_initializable_iterator() ，可以用占位符创建数据集

可重新初始化的迭代器：tf.data.Iterator.from_structure

具体可参考这篇博文：https://www.jiqizhixin.com/articles/03137

	#创建可初始化的迭代器
	iter = dataset.make_initializable_iterator() 
	#注意feature, cls_gt,bbox_gt都是张量
	feature, cls_gt,bbox_gt = iter.get_next()

接着用iter.get_next()得出的张量来构建计算图。（注意不是占位符）

创建会话，初始化迭代器

with tf.Session(config = config) as sess:

       sess.run(iter.initializer, feed_dict={ x: data, y:iou,z:box}) 

       for step in range(max_step):
             _,cost=sess.run([op,loss])

（只展示了部分比较重要的代码）

创建会话后，对迭代器初始化，投喂numpy array。一定要有这一步，把真正的数据传给占位符，从而传给dataset和迭代器。

接下来在每一个训练步里，直接用sess.run([op,loss])，根本不需要feed_dict（feed_dict是一个效率较低的运算）.

 

一开始，我把占位符，真正的array数据，和迭代器的张量这三个东西搞混了，一直没法训练。