iteration、batch和epoch的概念及区别

iteration:迭代次数，指的是模型在训练过程中参数更新的次数。

batch:批次，指的是一次迭代中使用的数据量。

epoch:训练轮数，指的是模型在整个数据集上训练的次数。

关系：

一个epoch中，数据被分为多个batch，1个iteration等于使用batch size个样本训练一次。训练一个Batch就是一次Iteration，就更新一次参数。

举个例子：

如果我们有一个包含 1000 (number of samples)个样本的数据集，每个batch的大小为 50（batch size），那么一个 epoch 中就会有 1000 / 50 = 20 个 batch，每个 batch 包含 50 个样本。

如果我们将模型训练 10 个 epoch，那么模型会在整个数据集上训练 10 次。

共进行10*20 =200 次迭代。