深度学习基础知识⑤

深度神经网络中最基本的三个概念：Epoch, Batch, Iteration

在复习过程中复习到了这三个概念，如有错误，还望指出
名词解释：

【 ps:图片来源：https://zhuanlan.zhihu.com/p/29409502】

• Epoch（时期）：当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程被称为一次epoch。也就是说，所有训练样本在神经网络中都进行了一次正向传播和一次反向传播。换句话说，一个epoch就是所有训练样本训练一次的过程。
  然而，当一个epoch的样本（也就是所有的训练样本）数量过多时（对于计算机而言），就需要把它分成多个小块，也就是分成多个batch来进行训练

• Batch（批/一批样本）:将整个训练样本分成若干个Batch

• Batch_Size（批大小）：每批样本的大小，在训练集中选择一组样本用来更新权值。1个batch包含的样本的数目，通常设为2的n次幂，常用的包括64,128,256。 网络较小时选用256，较大时选用64。

• Iteration（一次迭代）：训练一个batch就是一次Iteration，训练时，1个batch训练图像通过网络训练一次​（一次前向传播+一次后向传播），每迭代一次权重更新一次；测试时，1个batch测试图像通过网络一次​（一次前向传播）。所谓iterations就是完成一次epoch所需的batch个数

• 为什么要使用多于一个Epoch？
  在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降来优化学习过程。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的
  
  随着epoch数量增加，神经网络中的权重的更新次数也在增加，曲线从欠拟合变得过拟合。

• 那么，问题来了，几个epoch才是合适的呢？

  不幸的是，这个问题并没有正确的答案。对于不同的数据集，答案是不一样的。但是数据的多样性会影响合适的epoch的数量。比如，只有黑色的猫的数据集，以及有各种颜色的猫的数据集。
  【 来源：https://blog.csdn.net/qq_39521554/article/details/84480429 】

换算关系：

【 图片来源：https://www.jianshu.com/p/22c50ded4cf7 】

实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch_Size 不同。

【 图片来源：https://zhuanlan.zhihu.com/p/29409502 】

举个例子

mnist 数据集有 60000 张图片作为训练数据，10000 张图片作为测试数据。假设现在选择 Batch Size = 100 对模型进行训练。迭代30000次。

• 每个 Epoch 要训练的图片数量：60000(训练集上的所有图像)
• 训练集具有的 Batch 个数： 60000/100=600
• 每个 Epoch 需要完成的 Batch 个数： 600
• 每个 Epoch 具有的 Iteration 个数： 600（完成一个Batch训练，相当于参数迭代一次）
• 每个 Epoch 中发生模型权重更新的次数：600
• 训练 10 个Epoch后，模型权重更新的次数： 600*10=6000
• 不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的60000图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
• 总共完成30000次迭代，相当于完成了 30000/600=50 个Epoch

参考：https://www.jianshu.com/p/22c50ded4cf7