1. 输出层->隐藏层
2.隐藏层:
隐藏层中，J对神经元yi输出的值的导数等于 J对a的导数 乘 a对z的导数 乘 z对w的导数(这只是J对yi神经元输出的导数) ，因为做不到直接对yi输出求导， 则曲线救国， 因为输出a=sigmoid(z), 所以先求 J对a的， 再求a到z的， 再求z到w的， 链式求导得，J对yi输出的导数，这仅仅是对yi的输出导数， 若要求J对w的导数，根据J对输出求导， 输出a对z求导， z对w求导链式求导乘积才是输出层对隐藏层yi的w求导。
J对w的导数是 = J对神经元yi输出的导数 乘以 a对z的导数，乘以z对w的导数
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
隐藏层求导，计算过程是 J对w求导 = J对a求导，乘 a对z求导，乘z对w求导， (假设只有一个神经元)，a=sigmoid(z), z=w*x + b;
所以 J对a求导 
a对z求导 (也就是激活函数求导) = 
z对w求导= 
将三个导数做乘积: 
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
