解释batch&&epoch&&iteration

epoch:1个epoch等于使用训练集中的全部样本训练一次，也就是说epoch的值就是整个数据集被轮流执行几次

iteration:1个iteration等于使用batchsize个样本训练一次

batchsize:批大小，在深度学习中，一般采用SGD(随机梯度下降)训练，即每次训练在训练集中取batchsize个样本训练

如果训练集有500个样本，batchsize = 10 ，那么训练完整个样本集：iteration=50，epoch=1

深度学习每一次参数的更新所需要的损失函数并不是由一个数据获得的，而是由一组数据加权得到的，这一组数据的数量就是batchsize。

batchsize最大是样本总数N，此时就是Full Batch Learning，最小是1，即每次只训练一个样本，这就是在线学习。当我们分批学习时，每次使用过全部训练数据完成一次Forword运算以及一次BP运算，成为完成了一次epoch。