普通神经网络反向传播过程

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

注：

1）普通神经网络反向传播过程和卷积神经网络全连接反向传播一样。

2）输入层是第一层，不需要激活，输入的数据即是

3) W和B的反向传播适用于所有层，

而输出层适用公式：

隐层适用公式：

 

4）教科书中一般是直接对输出层神经元激活前的值求导，而不是对输出层神经元激活后的值求导。

5）对输出层激活后的神经元求导（如果损失函数使用均方差）：