[nlp] epoch、batchsize、batchnumber、iterations

参考：https://blog.csdn.net/wills798/article/details/89326343

epoch

一个epoch是指 所有的数据 传入网络 完成一次前向计算以及反向传播的过程。

由于一个epoch常常太大，计算机无法负荷。

batch_size

所谓batch就是每次送入网络中训练的一部分数据，

而 batch_size 是 每个batch中训练样本的数量。

batch_size_number = iternations

所谓iterations就是完成一次epoch所需的batch个数。
刚刚提到的，batch numbers就是iterations。
简单一句话说就是，我们有2000个数据，分成4个batch number，那么batch size就是500。运行所有的数据进行训练，完成1个epoch，需要进行4次iterations。

batch number = iterations