反向传播算法的作用:在利用梯度下降进行参数寻优时,需要对w进行求偏导的运算,反向传播算法是在神经网络结构中计算w的导数的一个较好的方法。
课程地址:李宏毅机器学习
链式法则:用于求一个复合函数的导数,是在微积分的求导运算中一种常用的方法。复合函数的导数将是构成复合这有限个函数在相应点的 导数的乘积,就像锁链一样一环套一环,故称链式法则。
链式法则在神经网络中的应用:
损失函数对参数求导=每个示例的损失函数对参数求导的和
求每一示例的损失函数l对w的导数=z对w的导数(顺推法)*l对z的导数(逆推法)
Z对w的导数很容易求得,就等于w对应的输入
L对z的导数可以由链式法则确定,其中,z对a的导数就是a到z所对应的参数(原因:)
使用逆推法得到l对z’的导数:
假设z’对应的是输出层,求解就结束了
如果不是输出层,就需要继续算下去,一直使用逆推法求解:
如果从输入开始计算偏导的话,看起来运算规模很大,但是如果从输出开始计算,会更好理解: