反向传播补充
一.损失函数的梯度
在机器学习以及深度学习当中,最常见的一种损失函数,就是最小二乘法损失函数,我们假设实际值是y,输出值呢,我们承接反向传播部分,是利用最后的Sigmoid函数或者Softmax函数输出的,我们记为:
σ ( z ) , z 为 线 性 方 程 \sigma(z), z为线性方程 σ(z),z为线性方程
在神经网络当中,损失函数是各个输出层的损失函数的累加,所以,整个神经网络的最小二乘损失函数就是:
L = ∑ i = 1 n l i = 1 2 ∑ i = 1 n ( y − σ ( z ) ) 2 L = \sum_{i=1}^n l_{i} = \frac{1}{2}\sum_{i=1}^n (y-\sigma(z))^2 L=i=1∑nli=21i=1∑n(y−σ(z))2
反向传播,我们是为了更新权重w,因此要对各个w求偏导,于是:
∂ L ∂ w = ∑ i = 1 n ( y − σ ( z ) ) σ ′ ( z ) ∂ z ∂ w ( 公 式 0 ) \frac{\partial L}{\partial w} = \sum_{i=1}^n (y-\sigma(z)) \sigma'(z) \frac{\partial z}{\partial w} (公式0) ∂w∂L=i=1∑n(y−σ(z))σ