机器学习入门（14）— 神经网络学习整体流程、误差反向传播代码实现、误差反向传播梯度确认、误差反向传播使用示例

1. 神经网络学习整体流程

神经网络学习的步骤如下所示。

• 前提
  神经网络中有合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为学习。神经网络的学习分为下面 4 个步骤。
• 步骤1（mini-batch）
  从训练数据中随机选择一部分数据。
• 步骤2（计算梯度）
  计算损失函数关于各个权重参数的梯度。
• 步骤3（更新参数）
  将权重参数沿梯度方向进行微小的更新。
• 步骤4（重复）
  重复步骤1、步骤2、步骤3。

之前介绍的误差反向传播法会在步骤2 中出现。我们可以利用数值微分求得了这个梯度。数值微分虽然实现简单，但是计算要耗费较多的时间。和需要花费较多时间的数值微分不同，误差反向传播法可以快速高效地计算梯度。

2. 误差反向传播代码实现

3. 误差反向传播梯度确认

4. 误差反向传播使用示例