【Epoch,Batch,Iteration】深度学习模型训练相关基础概念光速理解！

🔥模型训练相关基础概念！

• Epoch: 一次 epoch 代表整个训练数据集已经被完整地送入神经网络进行了一轮训练。通常，模型需要多次 epoch 才能充分学习数据集中的模式。
• Batch: 由于数据集可能过大，无法一次性全部加载到内存中进行训练，因此将数据集分成若干小部分，每一部分称为一个 batch。batch_size 指每个 batch 包含的样本数量。
• Iteration: 一次 iteration 指一个 batch 被送入神经网络进行一次前向传播（计算预测）和反向传播（更新权重）的过程。

参考下图⬇️

为了更清楚地理解，可以这样总结：

• 假设你的数据集有 1000 个样本，你的 batch_size 设为 100。
• 每次 epoch 中，你需要把所有 1000个样本都送入神经网络进行训练。
• 由于 batch_size 是 100，你需要将数据集分成 10 个 batch（每个 batch 100 个样本）。
• 因此，每个 epoch 会包含 10 次 iteration，因为每个 iteration 处理一个 batch。

图片来源：https://zhuanlan.zhihu.com/p/66021413