记事本190316 深度学习中epoch，iteration，batchsize的含义

本文参考的其他人的博客，用来当作自己的记事本。侵删。

原文链接：https://blog.csdn.net/program_developer/article/details/78597738

 

（1）batchsize：批大小。在深度学习中，即每次训练在训练集中取batchsize个样本训练；

（2）iteration：1个iteration等于使用batchsize个样本训练一次；

（3）epoch：1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被轮几次。

比如训练集有500个样本，batchsize = 10 ，那么训练完整个样本集：iteration=50，epoch=1.

batch: 深度学习每一次参数的更新所需要损失函数并不是由一个数据获得的，而是由一组数据加权得到的，这一组数据的数量就是batchsize。

batchsize最大是样本总数N，此时就是Full batch learning；最小是1，即每次只训练一个样本，这就是在线学习（Online Learning）。当我们分批学习时，每次使用过全部训练数据完成一次Forword运算以及一次BP运算，成为完成了一次epoch。

 

为什么需要有Batch_Size：

batchsize的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。