Epoch
Epoch 是指完成一次对整个训练数据集的完整遍历和更新的过程。换句话说,一次 epoch 就是指模型看完所有训练数据并更新参数一次。
Batch
Batch 是指将训练数据集分成更小的子集,每个子集称为一个 batch。模型在训练过程中会逐个 batch 地处理数据和更新参数,而不是一次性地使用整个数据集。这么做的好处是可以减少内存消耗并加速训练过程。处理完一个 batch 数据并更新参数的过程称为一次 batch iteration。
举例说明
假设你有一个包含 1000 条样本的数据集,并将其划分为 batch size 为 100 的 batch:
- 每个 batch 包含 100 条样本。
- 这意味着每个 epoch 需要处理 10 个 batch(1000 / 100 = 10)。
- 如果你训练 10 个 epoch,这表示你的模型将遍历整个数据集 10 次,总共进行 100 次 batch iteration(10 个 epoch * 10 个 batch = 100 次 iteration)。
更形象的解释
假设你在学习一本有 100 页的书:
- Epoch: 就是你从第一页读到第 100 页,这算作一个 epoch。然后你再回到第一页,重新读一遍,这样又完成了一个 epoch。
- Batch: 你不想一次读完 100 页,你决定每天读 10 页。那么,每天的 10 页就是一个 batch。完成一次 epoch 你需要 10 天时间。
为什么要使用 batch
- 内存限制: 对于大型数据集,一次性加载到内存中并进行训练可能会导致内存不足。将数据集分成更小的 batch 可以有效利用内存。
- 计算效率: 批量处理可以利用现代硬件(如 GPU)的并行计算能力,提高训练速度。
- 梯度估计: 使用 batch 可以在每次参数更新时计算一个梯度的平均值,这可以平滑梯度并使训练更加稳定。