Batch Size是机器学习的重要参数，影响训练方向和效率。全数据集（Full Batch Learning）适合小数据集，但不适合大数据集。在线学习（Online Learning）每次仅训练一个样本，可能导致收敛困难。批梯度下降法（Mini-batches Learning）找到平衡，但Batch Size过大或过小都可能延长训练时间和影响精度。实验表明，适当调整Batch Size能优化训练速度和精度。
点击上方“AI算法修炼营”，选择加星标或“置顶”
标题以下，全是干货
谈谈深度学习中的Batch_Size
Batch_Size(批尺寸)是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。
首先，为什么需要有 Batch_Size 这个参数？
Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 ( Full Batch Learning )的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。Full Batch Learning 可以使用Rprop 只基于梯度符号并且针对性单独更新各权值。
对于更大的数据集，以上 2 个好处又变成了 2 个坏处：其一，随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。其二，以 Rprop 的方式迭代，会由于各个 Batch 之间的采样差异性，各次梯度修正值相互抵消，无法修正。这才有了后来 RMSProp 的妥协方案。
既然 Full Batch Learning 并不适用大数据集，那么走向另
最低0.47元/天 解锁文章
扫一扫
2768
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
