小批量随机梯度下降

小批量随机梯度下降——mini-batch stochastic gradient descent

算法：
先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch） B ，然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。

以线性回归为例，模型的参数将做如下迭代：

在上式中， |B| 代表每个小批量中的样本个数（批量大小，batch size）， η 称作学习率（learning rate）并取正数。

需要强调的是，这里的批量大小和学习率的值是人为设定的，并不是通过模型训练学出的，因此叫作超参数（hyperparameter）。我们通常所说的“调参”指的正是调节超参数，例如通过反复试错来找到超参数合适的值。在少数情况下，超参数也可以通过模型训练学出。

参考：http://zh.d2l.ai/chapter_deep-learning-basics/linear-regression.html