Tensorflow2.0 自定义图像数据集 读取加速 tf.data.Dataset.cache (二)

接上一篇Tensorflow2.0 tf.data.Dataset.from_tensor_slices 自定义图像数据集 (一)。这里对比pipeline、cache(缓存)和.cache(filename=’./cache.tf-data’)方法建立缓存文件

Tensorflow

pipeline性能

在建立tf.data.Dataset.from_tensor_slicestf.data.Dataset.from_tensor_slices对象后，建立一个时间函数来记录数据读取的时间

steps_per_epoch=100
import time
default_timeit_steps = 2*steps_per_epoch+1

def timeit(ds, steps=default_timeit_steps):
    overall_start = time.time()
    # 在开始计时之前
    # 取得单个 batch 来填充 pipeline（管道）（填充随机缓冲区）
    it = iter(ds.take(steps+1))
    next(it)

    star