batch_size/iter_size/iteration/step/num_steps区别

batch_size/iter_size/iteration/step/num_steps区别

AI乐子人自用。

• iteration:每次迭代都是一次权重更新，一般每次权重更新需要batch_size个数据。一个iteration相当于使用batch_size个样本训练一次。
• iter_size:如果iter_size为1，则与上述相同，一个iteration使用batch_size个样本训练一次。如果iter_size为2,那么相当于一次迭代使用两个batch_size训练一次，两个batch_size后再进行权重更新。
• step:遍历全部训练数据需要的batch数量（两种情况）：
  1）=训练集样本数/batch_size
  2）<训练集样本数/batch_size ，那么会对输入样本进行随机采样。
• num_steps:遍历epoch次全部训练数据需要的batch数量

有毛病欢迎指正。