最易懂的方式介绍 神经网络模型中的Epoch、Iteration、Batchsize

batchsize：简单点说，就是我们一次要将多少个数据扔进模型去训练，这个值介于1和训练样本总个数之间。

batchsize太大或者太小都不好，如果该值太小，假设batchsize=1，每次用一个数据进行训练，如果数据总量很多时（假设有十万条数据），就需要向模型投十万次数据，完整训练完一遍数据需要很长的时间，训练效率很低；如果该值太大，假设batchsize=100000，一次将十万条数据扔进模型，很可能会造成内存溢出，而无法正常进行训练。

所以，我们需要设置一个合适的batchsize值，在训练速度和内存容量之间寻找到最佳的平衡点。
几点经验：

1. 相对于正常数据集，如果Batch_Size过小，训练数据就会非常难收敛，从而导致欠拟合。
2. 增大Batch_Size,相对处理速度会变快，同时所需内存容量增加。
3. 为了达到更好的训练效果，一般在Batchsize增加的同时，我们需要对所有样本的训练次数（也就是后面要讲的epoch）增加，以达到最好的结果。
4. 增加Batchsize的同时，一般会让所有样本的训练次数增加，这同样会导致耗时增加，因此需要寻找一个合适的Batchsize值，在模型总体效率和内存容量之间做到最好的平衡。

iteration：迭代的次数（向模型中扔数据的次数）

此处举一个例子一看就明白。假设一共有100个训练数据，batchsize设置为10，即一共有100个数据，一次向模型中扔10个数据进行训练，那一共要扔多少次才能将所有数据训练一遍呢？ 100/10=10 (次) ，也就是我们扔（迭代）十次就能将数据训练一遍了，此处的扔数据的次数（迭代次数）= iteration=10 。

注意：

1. 每一次迭代得到的结果都会被作为下一次迭代的初始值。例如，上例中需要迭代十次，首先，所有的参数会有一个初始值，第一次迭代过后，模型中的参数会得到一批新值，这一批参数值就作为第二次迭代的输入，通过第二次迭代得到一批优化了一些的参数值，这些参数值将作为第三次迭代的输入……如此，通过一次次迭代，模型里的参数们一步步向最优的参数靠近……
2. 一个迭代= 同一批batchsize数据的一个正向通过+一个反向通过。

所有数据从左到右再到左为一个epoch

Epoch: 训练集中的全部样本都在训练模型中走了一遍，并返回一次（有去有回），为一个epoch。

注意：

一般在神经网络中传递全部的数据集一次是不够的，我们需要将全部的数据集在同样的神经网络中传递多次，比如2万次，这个次数也需要训练，epoch的次数过多，容易造成过拟合，次数过少，容易使训练的参数达不到最优。

例如：
训练样本10000条，batchsize设置为20，将所有的训练样本在同一个模型中训练5遍，则
epoch=5,batchsize=20, iteration=10000/20=500