AI学习记录 - 导数在神经网络训练中的作用（自己画的图，很丑不要介意！）

导数的作用

我们去调整神经网络的权重，一般不会手动去调整，如果只有很少的神经元，人工调整确实可以实现，当我们有几十层，一层几百上千个神经元的时候，人工调整就不可能了。
一个权重的调整涉及到两个问题，一个是调大还是调小，一个是调整的幅度。

快速理解导数在神经网络上的意义

导数是什么，就是求解某个变量对于结果的影响程度，当变量多的时候，我们就把其他变量当成常数，在求导数的过程中把它略掉。如下:
y = 2x1 + 3x2 + 10x3
x1对y的影响程度是2
X2对y的影响程度是3
X3对y的影响程度是10
然后调整权重，就是调整2,3,10这些数字，如果数字过大，我们就适当调小一点，例如把10调整成5，越大的数字调整的幅度就应该越大。
凡是变量x存在的，都是求某一个点的变化率。

恰好导数的这种意义可以应用到神经网络里面，因为需要求解每一个神经元节点对于最终结果的影响。

下面的输出值y,公式为y = w1x1 + w2x2 + w3*x3 + b,我们要求解w1，w2，w3，b对于结果的影响，这就是为什么我们需要用到数学上的导数的原因。

简单的导数以及链式求导

导数的简单公式计算，瞬时变化率就是导数。
y=3x ,导数是3,是一条直线，所以处处的变化率是一样的。
y=3x^2,导数是3x,x取某一个值，因为x的平方是曲线，不同位置的变化率是不一样。

导数的链式求导，为什么神经网络会引入链式求导？首先我们必须知道链式求导是什么？
如下图，我们输入一个x经过多重神经元，会变成这样，这就是一个复合函数：

复合函数需要使用链式求导法则进行求解

最简单的链式求导

链式求导的多链路概念

我们求解z对于w1的导数的时候，有很多链路可以求，一个可靠的方法是将所有的链路求解出来，全部相加起来，就得出了w1的导数。

误差函数

每种误差函数的优点：
均方误差：对误差进行平方，取平方有一个特性，它惩罚更大的错误更多，但是同时异常值对结果的影响也很大。

均方根误差：RMSE 的优点是对较大误差值有较大的惩罚，因为它对差异值进行了平方操作。这可以避免较大误差值对拟合度的影响过大。