学习率的影响

“学习”在含义上或多或少等同于“训练”，但它们是不同的东西。我们通过提供训练数据和执行训练程序来训练神经网络。在此种情况时，网络正在学习——或者更具体地说，它正在学习逼近训练数据中包含的输入-输出关系。

学习的一种表现是权重的变化，而学习的速度会影响这种变化的方式。

误差碗是一个 3D 表面，它可以帮助我们可视化在训练期间节点的误差随着其输入权重的变化而逐渐减小到零的过程。

如果我们有一个点，其位置由两个权重的值和节点的输出误差确定，则权重的每次修改都会导致该点跳转到该误差面上某处的不同位置。这些跳跃趋向于碗底，误差最小化。

学习率会影响到碗底的跳跃的大小。

 上图为误差函数的二维表示。