一文搞懂Batch，Iteration，Epoch的区别与联系

 

Batch：每次迭代时使用的一批样本就叫做一个batch，样本的数量就叫做batch size。batch大小是一个超参数，用于定义在更新内部模型参数之前要处理的样本数。深度学习每一次参数的更新的loss function并不是由一个样本得到的，而是由一个batch的数据加权得到。

Iteration：使用batch size个样本训练一次的过程叫做一个iteration。

Epoch：一个epoch就是使用训练集中的全部样本训练一次。epoch的值就是整个训练数据集被反复使用几次。epoch是一个超参数，由一个或多个batch组成。

例：训练集有1000个样本，batch size=10，那么训练完所有的样本需要：100次iteration，1次epoch。