tf.data.dataset使用

参考https://tensorflow.google.cn/api_docs/python/tf/data/Dataset

from_tensor_slices：

将内存中的数据构建为数据集

dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])

repeat，batch

repeat设置遍历多少遍->epoch
batch设置每次sample多少数据->batchsize

dataset.repeat(3).batch(2)

结果就是：

[1,2]
[3,1]
[2,3]
[1,2]
[3]

interleave

遍历文件，读出所有数据组成dataset

dataset.interleave(
    lambda v: tf.data.Dataset.from_tensor_slices(v), # map_fn
    cycle_length = 3, # cycle_length
    block_length = 2, # block_length
)

map_fn:得到需要遍历的内容的函数
cycle_length:并行程度
block_length:每个遍历的结果取多少数据

n_readers = 5
dataset = filename_dataset.interleave(
    lambda filename: tf.data.TextLineDataset(filename).skip(1),
    # 按行读，skip省略几行，可以跳过header
    cycle_length = n_readers
)
for line in dataset.take(15):
# 查看15条内容
    print(line.numpy())

list_files

将文件名构成dataset

filename_dataset = tf.data.Dataset.list_files(filenames)