神经网络学习的步骤（不是教你怎么学神经网络）

前提（获得权重和偏置——学习的目的）

神经网络存在合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为“学习”。神经网络的学习分成下面 4 个步骤。

步骤 1（mini-batch）（计算全部样本的损失函数值时间过长，且非必要，计算其中一部分数据的损失函数即可）

从训练数据中随机选出一部分数据，这部分数据称为 mini-batch。我们的目标是减小 mini-batch 的损失函数的值。

步骤 2（计算梯度）（梯度下降法：一种优化算法，此处以损失函数值最小为优化目标）

为了减小 mini-batch 的损失函数的值，需要求出各个权重参数的梯度。梯度表示损失函数的值减小最多的方向。

步骤 3（更新参数）（沿梯度方向逐步搜索损失函数最小值）

将权重参数沿梯度方向进行微小更新。

步骤 4（重复）

重复步骤 1、步骤 2、步骤 3。

---

梯度下降法要注意选择的步长，步长过大会导致算法无法收敛，步长过小会导致算法运行时间过长，迭代次数过大。