深度学习基础：区分epoch batch和iteration

1. 名词解释

epoch:所有的训练样本完成一次forward和backward propagation。

由于数据量大或者内存等因素，我们不得不将数据分成多块，分批次进行训练。这时候每个批次的数据集称为Batch

batch:

每个batch中数据的个数。或者说一次forward和backward propagation运算中需要的样本个数。深度学习的参数的损失函数的更新不是一个由数据获得的。而是由一组（一批次）数据加权得到的，这组数据就是Batch,而它的数量我们称为Batch Size.

Iteration:

每一次迭代我们网络中参数（权重）会进行一次更新，每次更新需要每个Batch 中的batch size 个数据进行运算得到损失函数，在进行反向传播更新参数（权重）

2. 计算关系

number of batches = training set size / batch

实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。

梯度下降算法
*注：上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。

3. 示例

CIFAR10 数据集有 50000 张训练图片，10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。

每个 Epoch 要训练的图片数量：50000

训练集具有的 Batch 个数：50000/256+1=196

每个 Epoch 需要完成的 Batch 个数：196

每个 Epoch 具有的 Iteration 个数：196

每个 Epoch 中发生模型权重更新的次数：196

训练10 代后，模型权重更新的次数：1960

不同代的训练，其实用的是同一个训练集的数据。第 1代和第10 代虽然用的都是训练集的五万张图片，但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。

转载:https://zhuanlan.zhihu.com/p/29409502 作者：Alphgo https://www.bilibili.com/read/cv858553/ 出处：bilibili