神经网络训练中的epoch、batch、batch-size和iteration（迭代）

epoch：

当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个 epoch。

batch：

在不能将数据一次性通过神经网络的时候，就需要将数据集分成几个 batch。

batch-size：

一个 batch 中的样本总数。记住：batch size 和 number of batches 是不同的。

iteration：

迭代是 batch 需要完成一个 epoch 的次数。记住：在一个 epoch 中，batch 数和迭代数是相等的。

比如对于一个有 2000 个训练样本的数据集。将 2000 个样本分成大小为 500 的 batch，那么完成一个 epoch 需要 4 个 iteration。