神经网络训练中，Epoch、Batch Size和迭代傻傻分不清?

今天让我们来总结下训练神经网络中最最基础的三个概念：Epoch, Batch, Iteration。

1. 名词解释

 

2. 换算关系

实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。

  *注：上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。

补充：

为什么要使用多于一个 epoch？

我知道这刚开始听起来会很奇怪，在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但是请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降，优化学习过程和图示。因此仅仅更新权重一次或者说使用一个 epoch 是不够的。

 

随着 epoch 数量增加，神经网络中的权重的更新次数也增加，曲线从欠拟合变得过拟合。

那么，几个 epoch 才是合适的呢？

不幸的是，这个问题并没有正确的答案。对于不同的数据集，答案是不一样的。但是数据的多样性会影响合适的 epoch 的数量。比如，只有黑色的猫的数据集，以及有各种颜色的猫的数据集。

3. 示例

CIFAR10 数据集有 50000 张训练图片，10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。

• 每个 Epoch 要训练的图片数量：50000
• 训练集具有的 Batch 个数：50000/256=195+1
  • 每个 Epoch 需要完成的 Batch 个数：196
  • 每个 Epoch 具有的 Iteration （迭代）个数：196
  • 每个 Epoch 中发生模型权重更新的次数：196
  • 训练 10 代后，模型权重更新的次数：196*10=1960
  • 不同代的训练，其实用的是同一个训练集的数据。第 1 代和第 10 代虽然用的都是训练集的五万张图片，但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。

参考1：https://zhuanlan.zhihu.com/p/29409502 

参考2:https://towardsdatascience.com/epoch-vs-iterations-vs-batch-size-4dfb9c7ce9c9