批量梯度下降，随机梯度下降和小批量梯度下降的区别

批量梯度下降，随机梯度下降和小批量梯度下降的区别主要体现在用于计算梯度的样本的数量：

• 批量梯度下降：在每次迭代时，用整个数据集的所有样本上的梯度计算更新。
• 随机梯度下降：在每次迭代时，用单个样本上的梯度计算更新。
• 小批量梯度下降：在每次迭代时，用多个但不是全部样本上的梯度计算更新。通常也简称为随机方法。

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

以下是《深度学习》花书中的原文：

“使用整个数据集的优化算法被称为批量（batch）或确定性（deterministic）算法。 因为它们会在一个大批量中同时处理所有的样本。“

”每次只使用单个样本的优化算法有时被称为随机(stochastic)或者在线（online）算法“

”大多数用于深度学习的算法结余以上两者之间，使用一个以上而又不是全部的训练样本。传统上，这些会被称为小批量（minibatch）或小批量随机（minibatch stochastic）方法。现在通常将它们简单的称为随机（stochastic）方法。“