反向传播、反向推导梯度更新

定义一个简单的网络：

---

首先回顾前向过程，是这样的：

Sigmoid激活：

 

---

开始推导反向传播了：

目标损失函数：

在本例当中就是：

 

 

我们以更新W4为例子来展开反向推导：

梯度更新W4 ：

根据链式法则：