tf.data 读取batch的完整实例

步骤：
1.读取原始数据集
2.在py_func中进行数据预处理，在map_batch中对数据打包，生成nextelement。
3.构造迭代器
4.获得迭代器的handle（初始地址）
5.每次run一下nextelement。在数据集遍历完一遍之后，要初始化一下迭代器。

#通过txt建立原始数据集
train_dataset = tf.data.TextLineDataset("./data/my_data/batchtrain.txt")
val_dataset = tf.data.TextLineDataset("./data/my_data/batchtest.txt")
#<editor-fold desc="数据集预处理">
#备注：数据流动关系是，原始train_dataset变成参数x流进py_func空间中的解析函数。

#预处理函数
def parse_data(line):
    line = line.decode()
    line=line.strip().split(" ")
    s=line[0]
    return s

#创建np工作空间，并返回一个函数名
processfun=lambda x: tf.py_func(parse_data, [x],[tf.string])

#数据打包成batch
transformation=tf.contrib.data.map_and_batch(processfun,num_parallel_calls=2,batch_size=5,drop_remainder=False
)

#里面是映射函数，表示把数据集里的内容进行处理变成新的数据集
train_dataset=train_dataset.apply(transformation)
val_dataset=val_dataset.apply(transformation)
#</edi