BP四则法则一览神经网络反向传播
虽说深度学习门槛不高,但会推导公式是十分必要的,如最基础的BP、BN、deconv等等。翻了下CSDN博客发现BP公式推导的有很多,但没有系统化,难以很快消化吸收,故准备从BP公式开始写起。当大家看完这篇博客后,只需记住四则法则,就能轻松推导。
首先,神经网络是一个使用非线性函数的多层感知机。
我们约定t为groundtruth,y为神经元的输出,激活函数为sigmoid,那么,
损失函数: ,激活函数:
于是有:
则
根据链式法则:
...
原创
2020-05-17 15:36:35 ·
326 阅读 ·
1 评论