注:
1)普通神经网络反向传播过程和卷积神经网络全连接反向传播一样。
2)输入层是第一层,不需要激活,输入的数据即是
3) W和B的反向传播适用于所有层,
而输出层适用公式:
隐层适用公式:
4)教科书中一般是直接对输出层神经元激活前的值求导,而不是对输出层神经元激活后的值求导。
5)对输出层激活后的神经元求导(如果损失函数使用均方差):
注:
1)普通神经网络反向传播过程和卷积神经网络全连接反向传播一样。
2)输入层是第一层,不需要激活,输入的数据即是
3) W和B的反向传播适用于所有层,
而输出层适用公式:
隐层适用公式:
4)教科书中一般是直接对输出层神经元激活前的值求导,而不是对输出层神经元激活后的值求导。
5)对输出层激活后的神经元求导(如果损失函数使用均方差):