神经网络中Epoch、Iteration、Batchsize辨析

1.深度学习中经常看到epoch、iteration和batchsize，三者区别：
（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；
（2）iteration：1个iteration等于使用batchsize个样本训练一次；
（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；

举个例子，训练集有1000个样本，batchsize=10，那么：
训练完整个样本集需要：
100次iteration，1次epoch。

https://blog.csdn.net/program_developer/article/details/78597738  mark

注：以我最近在训练的yolo项目为例——>刚开始因为用1060卡(显存6g)跑，显存不够用，batchsize只能取3。训练的损失率从16降到12用了接近24小时，而且下降的越来越迟缓。

但是当我转移到1080ti（显存11g）跑，因为显存多出了5g，所以batchsize可以取到10来跑，只用了十几分钟，loss从12一口气降到了7！

可见，当batchsize增大，也就是网络在一次学习中见到的样本信息越多、越完整，其学到的越多，越能更好的把握住样本整体信息，所以学的更好，loss也就很快降下来了。