关于小批量梯度下降

小批量梯度下降（Mini-Batch Gradient Descent，MBGD）是一种优化算法，它在批量梯度下降（Batch Gradient Descent，BGD）和随机梯度下降（Stochastic Gradient Descent，SGD）之间取得平衡。在每次迭代中，MBGD不是使用全部训练数据（像BGD那样），也不是仅使用一个样本（像SGD那样），而是使用一小部分样本来更新模型的参数。

这个“小批量”通常包含几十到几百个样本，这样做的好处是可以减少计算资源的需求，同时仍然能够较为准确地估计梯度。小批量梯度下降既可以利用矩阵运算的高效性，又可以保持一定程度的随机性来避免陷入局部最优解。

理解小批量梯度下降的关键点在于：

• 效率：它比单个样本更新（SGD）更高效，因为可以利用现代计算库对小批量数据进行优化的矩阵运算。
• 稳定性：它比使用整个数据集（BGD）更稳定，因为每次更新不太可能被极端值或噪声影响。
• 泛化能力：它通过引入噪声，有助于提高模型的泛化能力，减少过拟合的风险。

在实际应用中，小批量梯度下降是深度学习训练中最常用的方法之一¹²。它允许模型在训练过程中更频繁地更新，这通常会导致更快的收敛，并且可以处理更大的数据集，因为不需要将整个数据集加载到内存中。此外，小批量梯度下降还可以与其他优化技巧（如动量法或Adam优化器）结合使用，以进一步提高训练效率和性能。如果您想了解更多关于小批量梯度下降的技术细节或应用，我可以提供更多信息。

源: 与必应的对话， 2024/3/22
(1) 批量梯度下降(BGD)、随机梯度下降(SGD)、小批量梯度下降(MBGD) - 知乎. https://zhuanlan.zhihu.com/p/72929546.
(2) 浅谈随机梯度下降&小批量梯度下降 - 知乎 - 知乎专栏. https://zhuanlan.zhihu.com/p/277709879.
(3) 梯度下降法详解+代码：批量梯度下降(Batch GD)、小批量梯度下降(Mini-batch GD)、随机梯度下降(Stochastic GD … https://blog.csdn.net/SanyHo/article/details/107095092.