2.2.1 mini-batch

调试处理

我们知道在大量数据下面训练算法，速度会非常慢，那么我们需要找到快速的优化算法来加快训练速度。这里我们先来讨论mini-batch梯度下降法

mini-batch梯度下降法介绍

如图所示

我们传统的算法是执行一遍梯度算法要跑整个数据集，如果数据集很大，比如说有5千万，那么多次执行梯度下降法速度会很慢很慢。

所以，如果你在处理完整个训练集样本之前，先让梯度下降法处理一部分，那么你的算法会快很多。我们可以把训练集分割成更小的部分，这些子集称之为mini-batch，我们将这些mini-batch用
大括号的形式来表示。这样，我们对每一个mini-batch用梯度下降法，就避免了一次处理整个数据集，导致计算过慢。

mini-batch梯度下降法原理

如图所示，这里每一个mini-batch的样本量是1000，所以，我们对1000个样本量使用梯度下降法。

理解mini-batch梯度下降法

使用batch梯度下降（就是一般的要遍历整个训练集的梯度下降）