神经网络反向传播

本文学习李宏毅老师机器学习——反向传播机制，图片取自学习视频，侵删。
反向传播：
梯度下降法更新参数流程：

反向传播是一种有效率的计算数量庞大的网络参数梯度的方法。
链式法则：

定义：Cn是真实值与输出值的距离

先观察三角形红框中神经元：




在这里，假设问号处偏微分已求得，那么：

可以将上式看做反向传播求得：

当下一层即为输出层时：

当下一层不为输出层时，循环计算，知道输出层为止：


倒着计算偏微分：

相当于建立反向的神经网络进行求偏导：

参考视频：李宏毅机器学习