本文介绍了深度学习中的batchsize、iteration和epoch的区别。batchsize指每次训练的样本数，iteration是使用batchsize训练一次，epoch是使用全部样本训练一次。讨论了batchsize对训练速度、收敛性及内存利用的影响，指出合适的batchsize能平衡收敛速度和精度。过小可能导致震荡不收敛，过大可能收敛到较差的局部最优。实际应用中常选择几十到几百的mini-batch，并注意样本量与batchsize的适配。对于二阶优化算法，可能需要大batch。GPU对2的幂次batch表现更优。
深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别：
(1)batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；
(2)iteration：1个iteration等于使用batchsize个样本训练一次；
(3)epoch：1个epoch等于使用训练集中的全部样本训练一次；
举个例子，训练集有1000个样本，batchsize=10，那么：
训练完整个样本集需要：
100次iteration，1次epoch。
1.当数据量足够大的时候可以适当的减小batch_size,由于数据量太大，内存不够。但盲目减少会导致无法收敛，batch_size=1时为在线学习，也是标准的SGD，这样学习，如果数据量不大，noise数据存在时，模型容易被noise带偏，如果数据量足够大，noise的影响会被“冲淡”，对模型几乎不影响。2.batch的选择，首先决定的是下降方向，如果数据集比较小，则完全可以采用全数据集的形式。这样做的好处有两点，
1)全数据集的方向能够更好的代表样本总体，确定其极值所在。
2)由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。
3.增大batchsize的好处有三点：
1)内存的利用率提高了，大矩阵乘法的并行化效率提高。
2)跑完一次epoch(全数据集)所需迭代次数
最低0.47元/天 解锁文章
1803
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
