【深度学习笔记】batchsize, time step(iteration), epoch 区别与联系

 

一、定义

变量	含义
epoch	一个epoch表示训练集中所有训练样本训练学习一遍
time step / iteration	每运行一个time step / iteration，更新一次参数权重，即进行一次学习，每一次更新参数需要batch size个样本进行运算学习，根据运算结果调整更新一次参数。
batchsize	1次迭代所使用的样本数量

二、三者的联系：

iteration = （ exampleNums∗epoch​ ）/ batchsize

三、例子：

假设训练集中有1000个样本，batch size=20，epoch=1，那么完成一个epoch需要50个iteration。