DNN中的梯度消失/爆炸原因
梯度消失/梯度爆炸是深度学习中老生常谈的话题，这篇博客主要是对DNN中的梯度消失/梯度爆炸原因进行公式层面上的直观理解。
如上图所示，假设有2个隐层，前向传播公式：
f 1 = σ ( w 1 x + b 1 ) ， z 1 = w 1 x + b 1 f_1 = \sigma(w_1x+b_1)，z_1 = w_1x+b_1 f1=σ(w1x+b1)，z1=w1x+b1
f 2 = σ ( w 2 f 1 + b 2 ) ， z 2 = w 2 f 1 + b 2 f_2 = \sigma(w_2f_1+b_2)，z_2 = w_2f_1+b_2 f2=σ(w2f1+b2)，z2=w2f1+b2
f 3 = σ ( w 3 f 2 + b 3 ) ， z 3 = w 3 f 2 + b 3 f_3 = \sigma(w_3f_2+b_3)，z_3 = w_3f_2+b_3 f3=σ(w3f2+b3)，z3=w3f2+b3
f 3 f_3 f3是输出层的神经元，所以可以认为 l o s s loss loss是关于 f 3 f_3
最低0.47元/天 解锁文章
3122
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
