epoch:表示所有的样本全部都运算一遍(时期)
iteration/step:表示每运行一个iteration/step,更新一次参数权重,即进行一次学习,每一次更新参数需要batch size个样本进行运算学习,根据运算结果调整更新一次参数
batch size:一次参数更新运算所需的样本数量,深度学习每一次参数更新并不是一个样本学习运算得来的,而是通过对一组数据进行运算后更新一次参数。
batch size的原因可以参考知乎的回答:https://www.zhihu.com/question/32673260
因此假设有50000个样本,batch size 为500,则iteration=50000/500=100