目前大部分人了解keras的fit中都是使用数组,适合于小型的数据集,fit_generator中可以采用生成器对大型数据集进行训练,但是在tf2中(没试过tf1),可以直接使用tf.data.Dataset对大型数据集进行批量采集和预处理
参考链接:https://blog.csdn.net/winycg/article/details/80588077
对Dataset中的数据进行转换transformation
一个Dataset通过Transformation变成一个新的Dataset。通常我们可以通过Transformation完成数据变换,打乱,组成batch,生成epoch等一系列操作
常用的Transformation有:
- map
- batch
- shuffle
-
repeat
但是上述链接是在tf1的环境下使用dataset,需要函数生成iterator
make_initializable_iterator()
而在tf2中可以直接使用,需要注意的是,tf.keras和keras并不一样,使用tf.data.Dataset时,必须使用tf.keras建立model,否则会一直报错
from tensorflow.keras.datasets import cifar10
from tensorflow.keras import Mod