iteration:迭代次数,指的是模型在训练过程中参数更新的次数。
batch:批次,指的是一次迭代中使用的数据量。
epoch:训练轮数,指的是模型在整个数据集上训练的次数。
关系:
一个epoch中,数据被分为多个batch,1个iteration等于使用batch size个样本训练一次。训练一个Batch就是一次Iteration,就更新一次参数。
举个例子:
如果我们有一个包含 1000 (number of samples)个样本的数据集,每个batch的大小为 50(batch size),那么一个 epoch 中就会有 1000 / 50 = 20 个 batch,每个 batch 包含 50 个样本。
如果我们将模型训练 10 个 epoch,那么模型会在整个数据集上训练 10 次。
共进行10*20 =200 次迭代。