一直对论文和实验中的iteration、epoch和batchsize的关系不太清楚。这篇文章写得很清楚。
训练神经网络中最基本的三个概念:Epoch, Batch, Iteration
图出自上文。
一次迭代指完成一次前向和反向运算。
batchsize:一个迭代批次样本数量的大小。即每次迭代使用的样本数量。
iteration:1个iteration是指一次迭代过程,即上面的一个批次batchsize的样本完成前向和反向的整个过程。
epoch:1个epoch是指训练集中的全部样本都训练了一次,训练集中所有的样本都被迭代了一次就是完成了一个epoch,通常说的几个epoch就是指训练集中的所有样本被迭代了几次。
例如:训练集32万个样本,而batchsize设置的为32,那么完成一个epoch需要迭代10000轮。
引用博客