神经网络中学习算法的步骤

---

前言

神经网络中存在合适的权重和偏置，调整权重和偏置以便拟合训练数据和过程称为学习。

---

一、mini-batch

从训练数据中随机选出一部分数据，这部分数据称为mini-batch。我们的目标mini-batch的损失函数的值

二、计算梯度

为了减小mini-batch的损失函数的值，需要求出各个权重参数的梯度。
梯度表示损失函数的值减小最多方向。

三、更新参数

将权重参数沿梯度方向进行微小更新。

四、（重复）

重复步骤、步骤2、步骤3

总结

神经网络的学习按照上面四个步骤进行，这个方法通过梯度下降法更新参数，不过因为这里使用的数据是随机选择的mini batch数据，所以又称为随机梯度下降法，这个方法一般由一个名为SGD的函数来实现。