- 损失函数(Loss function)是定义在单个训练样本上的,也就是就算一个样本的误差,比如我们想要分类,就是预测的类别和实际类别的区别,是一个样本的,用L表示。
- 代价函数(Cost function)是定义在整个训练集上面的,也就是所有样本的误差的总和的平均,也就是损失函数的总和的平均,有没有这个平均其实不会影响最后的参数的求解结果。
- 总体损失函数(Total loss function)是定义在整个训练集上面的,也就是所有样本的误差的总和。也就是平时我们反向传播需要最小化的值。
对于L(θ)就是所有损失函数之和。
从这一小部分中去看,把计算梯度分成两个部分
- 计算∂z/∂w(Forward pass的部分)
- 计算∂l/∂z ( Backward pass的部分 )
那么,首先计算∂w/∂z(Forward pass的部分):
根据求微分原理,forward pass的运算规律就是:
∂z/∂w1=x1 ∂z/∂w2=x2 这里计算得到的x1和x2恰好就是输入的x1和x2。
Backward pass的部分比较复杂,因为我们的l是最后一层
计算所有激活函数的偏微分,激活函数有很多,这里使用Sigmoid函数为例
这里使用链式法则
我们可以想象从另外一个角度看这个事情,现在有另外一个神经元,把forward的过程逆向过来,其中σ′(z)是常数,因为它在向前传播的时候就已经确定了
当有输出值时,假设∂l/∂z′和∂l/∂z′‘是最后一层的隐藏层,也就是就是y1与y2是输出值,那么直接计算就能得出结果
但是如果不是最后一层,计算∂l/∂z′和∂l/∂z′′的话就需要继续往后一直通过链式法则算下去
对于这个问题,我们要继续计算后面绿色的∂l/∂za和∂l/∂zb,然后通过继续乘w5和w6得到∂l/∂z′,但是要是∂l/∂za和∂l/∂zb都不知道,那么我们就继续往后面层计算,一直到碰到输出值,得到输出值之后再反向往输入那个方向走。