步骤: 1.读取原始数据集 2.在py_func中进行数据预处理,在map_batch中对数据打包,生成nextelement。 3.构造迭代器 4.获得迭代器的handle(初始地址) 5.每次run一下nextelement。在数据集遍历完一遍之后,要初始化一下迭代器。 #通过txt建立原始数据集 train_dataset = tf.data.TextLineDataset("./data/my_data/batchtrain.txt") val_dataset = tf.data.TextLineDataset("./data/my_data/batchtest.txt") #<editor-fold desc="数据集预处理"> #备注:数据流动关系是,原始train_dataset变成参数x流进py_func空间中的解析函数。 #预处理函数 def parse_data(line): line = line.decode() line=line.strip().split(" ") s=line[0] return s #创建np工作空间,并返回一个函数名 processfun=lambda x: tf.py_func(parse_data, [x],[tf.string]) #数据打包成batch transformation=tf.contrib.data.map_and_batch(processfun,num_parallel_calls=2,batch_size=5,drop_remainder=False ) #里面是映射函数,表示把数据集里的内容进行处理变成新的数据集 train_dataset=train_dataset.apply(transformation) val_dataset=val_dataset.apply(transformation) #</edi
tf.data 读取batch的完整实例
最新推荐文章于 2023-12-20 18:19:19 发布
本文提供了一个使用tf.data读取数据批次的完整实例,详细介绍了如何结合map_and_batch函数进行数据预处理和批处理,适用于TensorFlow的模型训练流程。
摘要由CSDN通过智能技术生成