Epoch、Iteration、Batchsize

卷积神经网络训练三个概念（epoch，迭代次数，batchsize）-CSDN博客

• Epoch：在训练神经网络时，epoch表示整个训练数据集被正向传播和反向传播的次数。简单来说，一个epoch意味着整个数据集已经在神经网络中训练过一遍。

• Iteration（迭代）：一个iteration表示一次参数更新。在一个iteration中，神经网络会接收一个batch的输入数据，然后进行前向传播、计算损失、反向传播以及更新参数的过程。一个epoch通常包含多个iterations。

• Batch size（批大小）：在训练神经网络时，为了提高训练效率，通常会将训练数据分成多个小批次（batch）来进行训练。每个小批次包含的样本数量就是batch size。

  • 较大的batch size可以带来更高的训练速度，但可能会占用更多内存；较小的batch size则可以更好地利用随机性进行参数更新，但训练速度可能会变慢。

在上述三个概念中，Epoch和Batch size是超参数，而Iteration（迭代）则不是一个超参数，它是用来描述训练过程中参数更新的次数，通常是由Epoch和Batch size共同决定的。Iteration的数量通常等于Epoch数乘以(训练数据集样本数量/Batch size)。

在深度学习中，超参数是在训练模型之前需要手动设置的参数，它们不是通过训练学习得到的，而是需要根据经验、实验或者启发式方法进行调整。

以下解释 “一个epoch通常包含多个iterations”：

在深度学习中，一个epoch代表整个训练数据集被用来训练模型的一次完整迭代。而一个epoch通常包含多个iterations（迭代），每个iteration表示使用一个batch（批量）的数据进行一次参数更新。

具体来说，一个iteration包括以下步骤：

1. 从训练数据集中随机选择一个batch的样本。

2. 将这个batch的样本输入到神经网络中，通过前向传播计算模型的输出。

3. 根据模型的输出和实际标签计算损失函数。

4. 使用反向传播算法计算梯度。

5. 使用优化算法（如梯度下降）根据梯度更新模型的参数。

当整个训练数据集中的所有样本都被用于参数更新，就完成了一个epoch。因此，一个epoch包含一个或多个iterations，具体取决于训练数据集的大小以及选择的batch size。