keras 中fit_generator的epoch的疑问

在使用keras进行神经网络训练时,在keras中为了减少数据对CPU/GPU的占用率,可以选择使用generator来生成数据对应使用fi_generator来进行训练,我们来看看fit_generator 在官方API中的讲解

fit_generator(generator, steps_per_epoch=None, epochs=1, 
verbose=1, callbacks=None, validation_data=None, 
validation_steps=None, class_weight=None,
 max_queue_size=10, workers=1, use_multiprocessing=False, 
shuffle=True, initial_epoch=0)

在这里主要看看steps_per_epoch和epoch的区别

generator: 一个生成器,或者一个 Sequence (keras.utils.Sequence) 对象的实例, 
以在使用多进程时避免数据的重复。 生成器的输出应该为以下之一:

一个 (inputs, targets) 元组
一个 (inputs, targets, sample_weights) 元组。
这个元组(生成器的单个输出)组成了单个的 batch。 
因此,这个元组中的所有数组长度必须相同(与这一个 batch 的大小相等)。 
不同的 batch 可能大小不同。 例如,一个 epoch 的最后一个 batch 往往比其他 batch 要小, 
如果数据集的尺寸不能被 batch size 整除。 生成器将无限地在数据集上循环。当运行到第 steps_per_epoch 时,记一个 epoch 结束。

 意思就是generator每次被调用返回的tuple的len,都是一个batch的大小(例如32),包含了inputs-(batch_size,feature),target-(batch_size,target_feature).

steps_per_epoch: 在声明一个 epoch 完成并开始下一个 epoch 之前从 generator 产生的总步数(批次样本)。 
它通常应该等于你的数据集的样本数量除以批量大小。 对于 Sequence,它是可选的:如果未指定,将使用len(generator) 作为步数。

说人话,steps_per_epoch的参数就是,对于下一次的epoch开始之前,调用你的generator产生准备数据的次数,你的generator必须每次返回32(batch_size)个training样本,那么steps_per_epoch = total_samples//(batch_size),这里的//是整除的意思,你也可以使用numpy.ceil的函数向上取整,这样做的目的是为了舍弃最后不满足batch_size的数据。

### 回答1: 这个错误是因为在使用fit_generator()函数时,传入了一个不被支持的参数'samples_per_epoch'。这个参数在新版本的Keras已经被废弃,应该使用'steps_per_epoch'代替。你需要修改你的代码,将'samples_per_epoch'改为'steps_per_epoch',就可以解决这个问题了。 ### 回答2: 首先,需要明确的是,这个错误信息是有关于Keras库的fit_generator()函数的,因为samples_per_epochfit_generator()函数所接受的一个参数。而关于这个错误的出现,也一般有两个原因。 第一个原因是在新版本的Keras,samples_per_epoch这个参数被废弃,并且被其替代的参数是steps_per_epoch。换句话说,如果使用的是新版本的Keras库,则应该使用steps_per_epoch代替samples_per_epoch。在这种情况下,应该将旧版本的代码的samples_per_epoch参数替换为steps_per_epoch参数,该参数用于指定一个epoch训练步数。如果不清楚这个参数应该如何设置,可以根据训练数据的大小和batch_size参数来计算出来。 第二个可能导致这个错误的原因是在使用fit_generator()函数时,参数的传递出现错误。这可能是由于函数调用的参数名称有误导致的。因此,我们需要检查一下函数调用传递的参数的名称是否与函数的定义相匹配,并且确保不会使用已经废弃的参数名称(如samples_per_epoch)作为参数名称。 总之,如果在使用fit_generator()函数时,遇到“fit_generator() got an unexpected keyword argument 'samples_per_epoch'”这个错误信息,需要检查一下Keras库的版本是否正确,然后确保传递的参数名称与函数的定义相匹配,确保新版的库将samples_per_epoch参数替换为steps_per_epoch参数。 ### 回答3: 首先需要了解 `fit_generator()` 是 keras 模型训练时用到的函数,其主要作用是将数据生成器传递到模型进行训练。`samples_per_epoch` 是其一个参数,表示训练样本总数,在 keras 2.0 版本以前是可以使用的,但在 keras 2.0 以后已经被移除。 因此,当在 keras 2.0 版本及以上使用 `fit_generator()` 时,若出现了 `got an unexpected keyword argument 'samples_per_epoch'` 错误提示,则说明使用了无效的参数。可以通过删除该参数或者使用 `steps_per_epoch` 参数来代替实现对训练样本总数的控制。 `steps_per_epoch` 表示每个 epoch 的迭代次数,通常用于指定每个 epoch 的数据数量,这个参数是必须指定的。举个例子,如果数据集有 1000 个样本,batch_size 为 10,则每个 epoch 的迭代次数为 100,即每个 epoch 会执行 100 次迭代。因此在使用 `fit_generator()` 时,可以通过 `steps_per_epoch` 参数来控制每个 epoch 的数据量,而不是使用被移除的 `samples_per_epoch` 参数。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值