model.fit 无法输入生成器的数据

history = model.fit(x=next(batch_generator_X), y=[next(batch_generator_y), domain_labels], epochs=epochs, callbacks=callbacks)

对于Tensorflow2.0+Keras,使用Keras函数式API可以非常高效便捷地搭建网络,但是会丧失一些灵活性。比如输入训练数据,只能使用类似上面的代码。

我经过测试发现,无法像自定义的训练步骤,比如在

for epoch in range(epochs):
    ...# 自己的训练逻辑

无法一边进行一个epoch的训练,一边喂入新的训练数据batch.

即使用tf.data.dataset也无法实现,我后来又采用了python中的生成器,yield关键字,可是也不奏效。

model.fit()的逻辑是给定了数据之后,就不再重新取数据,这就导致必须一次把所有的训练数据都准备好(tf.data.dataset和numpy格式的数据都可以)。也造成了这种方式只适合于小型的数据集,因为大型的数据集会受到内存的限制。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值