深度学习batch_size、iteration、epoch关系

我们可以假定“吃饭”的情景。首先，倘若给你盛了一碗米饭，你总不能一口直接吃掉，再者，一粒粒吃又显得效率不高。这个时候，你也知道应该每次小口小口吃才对，在提升效率的同时又能有助于消化，不至于那么狼狈。于是，你一口一口得把一碗饭那给吃完了。但你觉得不过瘾，又吃了一碗。好了，实际上我们已经把三个超参讲完了，每次小口吃的米粒数就是batch_size，一碗饭你吃了多少口，就是多少的iteration，吃了多少碗饭就是多少的epoch。然后我们拿数据说话，假设一碗饭有10000粒米，你每次吃200粒，吃了50口吃完，不够，又吃了3碗饭。对应到神经网络中，10000代表训练的样本数，200代表batch_size，50代表iteration，3代表epoch。