一个关于tf.data的简介

原视频地址在这儿：https://www.youtube.com/watch?v=uIcqeP7MFH0

视频中介绍了tf.data设计的一些原则和一些基本用法。设计的三个原则：

1. 快速高效

tf.data可以在每秒读取13000张图片，官网上有一页专门介绍输入数据pipeline的效率。输入输入的pipeline分为以下三步（ETL）

分别是从数据源头处读取数据（Extract）（比如内存，磁盘，远程服务器，云端）、对数据做一系列的变换（Transform）、载入CPU或者GPU（Load）等等，下面是一个例子，ETL分别代表这三个步骤：

小技巧

1. 如果从云端或者多个来源读取数据，很显然并行读取可以提升读取效率，这个操作可以通过简单的num_parallel_reads参数来完成，如：tf.data.TFRecordDataset(files, num_parallel_reads=32)
2. 利用contrib模块的一些函数，提高数据transform阶段的速度，这些函数可以将transform阶段的多个不同操作融合到一起来做，以提高运行效率，如：

dataset = dataset.apply(tf.contrib.data.shuffle_and_repeat(10000, NUM_EPOCHS))
dataset = dataset.apply(tf.contrib.data.map_and_batch(lambda x: ...., BATCH_SIZE))

1. 利用GPU prefetch提前吧数据在使用前加载到GPU

dataset = dataset.apply(tf.contrib.data.prefetch_to_device('\gpu:0'))

1. dataset中的数据可以通过生成迭代器来访问，如：

iterator = dataset.make_one_shot_iterator()
data = iterator.get_next()

1. 如果对数据的效率要求比较高，或者数据集很大，建议使用TFRecord等数据类型读取数据

2. 灵活

1. 通过dataset.map函数可以对每条数据做自定义的transform
2. 有一个接口Dataset.from_generator()可以把原本已经写好的python的读取数据集的函数包在里面，得到Tensorflow的数据集。

3. 易用

1. 在tf.enable_eager_execution()模式下，dataset可以被看做简单的python可迭代对象，通过for..in..来访问，并且这种模式依然是支持prefetch_to_device的
2. 可以用一个函数打包上述所说的载入数据的三个步骤：

tf.contrib.data.make_batched_features_dataset(file_pattern, BATCH_SIZE, features, num_epochs=NUM_EPOCHS)

1. tf.data和最新的高级API Estimator有着很好的兼容性，只要生成了数据，就可以直接灌数据而不需要任何的迭代器什么的。

关于tf.data的Example

 

参考网址:

1. https://www.e-learn.cn/content/qita/792117
2. https://zhuanlan.zhihu.com/p/37106443
3. https://www.datalearner.com/blog/1051556350245210#6%E3%80%81%E4%BD%BF%E7%94%A8tqdm%E5%BE%AA%E7%8E%AF%E8%BE%93%E5%87%BA
4. https://blog.csdn.net/tiangcs/article/details/85952007
5. https://blog.csdn.net/u014061630/article/details/80728694
6. https://zhuanlan.zhihu.com/p/30751039
7. https://www.jianshu.com/p/d80ea5d73446
8. https://www.tensorflow.org/guide/datasets?hl=zh-cn#consuming_text_data
9. https://www.jianshu.com/p/baf1a933dd79
10. https://blog.csdn.net/wangdongwei0/article/details/82991048
11. https://www.jianshu.com/p/f580f4fc2ba0
12. https://www.jianshu.com/p/d80ea5d73446
13. https://blog.csdn.net/weixin_42499236/article/details/83933629
14. https://blog.csdn.net/qq_37747262/article/details/81912438
15. https://blog.csdn.net/ssmixi/article/details/80572813
16. https://www.cnblogs.com/augustone/p/10520115.html
17. https://blog.csdn.net/DumpDoctorWang/article/details/84028957#51_422
18. http://www.enpeizhao.com/?p=514
19. https://blog.csdn.net/Z609834342/article/details/83514498
20. https://blog.csdn.net/qq_37747262/article/details/81912438
21. https://github.com/FrancescoSaverioZuppichini/Tensorflow-Dataset-Tutorial/blob/master/.ipynb_checkpoints/dataset_tutorial-checkpoint.ipynb
22. https://blog.csdn.net/loveliuzz/article/details/84398179#3.3%20%E5%9F%BA%E4%BA%8E%20tf.py_func%20%E4%BD%BF%E7%94%A8%20Python%20%E5%87%BD%E6%95%B0%E8%BF%9B%E8%A1%8C%E9%A2%84%E5%A4%84%E7%90%86%20%C2%B6
23. https://blog.csdn.net/DumpDoctorWang/article/details/84028957