CS224N笔记——反向传播

目录

两层神经网络的反向传播

电路图解释

流动图解释

实际神经网络中的误差信号

---

• 两层神经网络的反向传播

 

将输出s展开：

 

对求偏导：

矩阵形式：

其中，

 

对求偏导：

其中，

 

综上，任意层的通用公式为：

• 电路图解释

反向传播时每通过一级，就用链式法则乘以这一级的导数。

其中，sigmoid相关的元件可以合并为一个sigmoid gate：

• 流动图解释

神经网络可以视作流程图的一个实例：

任意流程图都可以执行反向传播：

现在有一些软件包（TensorFlow）可以自动从前向传播的symbolic expression（符号表达式）推导梯度，适用于快速设计原型。

• 实际神经网络中的误差信号

假设最后一层对的误差是：

于是对的导数是

通过线性乘法器，对的导数是权值与的乘积：

通过一个sigmoid gate，对的导数是：

再通过一个线性乘法器，得到对的导数：

于是对的导数是。