【名词解释】机器学习中的batch,iteration,step与epoch
batch,iteration,step与epoch为机器学习SGD算法中常见的几个超参,具体含义如下:
- batch:每次随机选取若干训练样本封装为一个batch送入神经网络,batch的大小即每次送入神经网络的训练样本数量称为batch size;
- iteration/step:每次迭代训练一个batch,也即每次迭代训练batch size个训练样本;
- epoch:每个epoch包含若干iteration/step,训练整个训练集大小的样本。各个epoch间的操作是重复的,但可能每个batch的样本不同。
下面是几个名词的示意图: