对神经网络中的Epoch、Batch Size和iteration的理解

Epoch:
当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch，然而，当一个epoch对于计算机而言太庞大的时候，就需要把它分为多个小块。
为什么要使用多于一个epoch?
在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但是请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降是不够的，因此仅仅更新权重一次或者使用一个epoch是不够的。随着epoch的数量增加，神经网络中的权重的更新次数也增加，曲线从欠拟合变得过拟合。
那么，几个epoch才是合适的？
不幸的是，这个问题并没有正确的答案，对于不同的数据集，答案是不一样的，而且数据的多样性会影响合适的epoch的数量，比如，只有黑色的猫的数据集和有各种颜色的猫的数据集。
Batch size是什么？
一个batch的样本数量，记住:batch size和number of batches是不同的。
Batch是什么？
在不能将数据一次性通过神经网络的时候，就需要将数据集分为几个batch。
iteration是什么？
在一个epoch中，batch数和迭代数是相等的。每一次迭代都是一次权重更新，每一次权重更新需要batch_size个数据进行forward运算得到损失函数，再BP算法更新参数，1个iteration等于使用batch size个样本训练一次。

比如：对于一个有2000个训练样本的数据集，将2000个样本分为大小为500的batch，那么完成一个epoch需要4个iteration。

注：
在LSTM中我们还会遇到一个seq_length，其实batch_size=num_steps*seq_length