之前我是用tf.records来处理训练数据的。但是这次训练的数据比较特殊,输入不是图像,而是256通道的feature map(数据格式我保存成了npy)。所以这次,我换了一种导入数据的方式——tf.data
创建dataset
#创建dataset的占位符
x=tf.placeholder(tf.float32,shape=[None,6,6,256])
y=tf.placeholder(tf.float32,shape=[None,1])
z=tf.placeholder(tf.float32,shape=[None,4])
#根据占位符创建dataset
dataset = tf.data.Dataset.from_tensor_slices((x,y,z))
#打乱dataset的顺序,下一个元素将从该固定大小为buffer_size的缓存中均匀地选取
dataset = dataset.shuffle(buffer_size=500)
#repeat()里的参数表示dataset的重复次数,默认为无限次;batch()会对数据进行分批处理
dataset = dataset.batch(BATCH_SIZE).repeat()
tf.data.Dataset.from_tensor_slices()也接受numpy array数据,但是当数据过大时很消耗内存。因此,推荐使用占位符的方法来导入数据。占位符的另外一个优点是:可以动态地修改 Dataset 中的数据,这在后面分别计算training set和validation set的loss时非常重要。
创建迭代器
tf.data的迭代器有四种类型:
one shot迭代器:dataset.one_shot_iterator() ,此时的dataset应该是由numpy array导入的
可初始化的迭代器:dataset.make_initializable_iterator() ,可以用占位符创建数据集
可重新初始化的迭代器:tf.data.Iterator.from_structure
具体可参考这篇博文:https://www.jiqizhixin.com/articles/03137
#创建可初始化的迭代器
iter = dataset.make_initializable_iterator()
#注意feature, cls_gt,bbox_gt都是张量
feature, cls_gt,bbox_gt = iter.get_next()
接着用iter.get_next()得出的张量来构建计算图。(注意不是占位符)
创建会话,初始化迭代器
with tf.Session(config = config) as sess:
sess.run(iter.initializer, feed_dict={ x: data, y:iou,z:box})
for step in range(max_step):
_,cost=sess.run([op,loss])
(只展示了部分比较重要的代码)
创建会话后,对迭代器初始化,投喂numpy array。一定要有这一步,把真正的数据传给占位符,从而传给dataset和迭代器。
接下来在每一个训练步里,直接用sess.run([op,loss]),根本不需要feed_dict(feed_dict是一个效率较低的运算).
一开始,我把占位符,真正的array数据,和迭代器的张量这三个东西搞混了,一直没法训练。