【深度学习】防止梯度消失的方法
深度网络容易出现梯度消失问题，造成网络学习停滞。深度网络中参数的梯度为激活值与状态梯度的乘积（例如 ∂ l o s s ∂ w 2 = ∂ l o s s ∂ z 3 ∂ z 3 ∂ w 3 = ∂ l o s s ∂ z 3 a 2 ( z 3 = w 2 a 2 ) \frac{\partial{loss}}{\partial w_2} = \frac{\partial{loss}}{\partial z_3}\frac{\partial{z_3}}{\partial w_3}=\frac{\partial{loss}}{\partial z_3}a_2(z_3=w_2a_2) ∂w2∂loss=∂z3∂loss∂w3∂z3=∂z3∂lossa2(z3=w2a2)），为了避免梯度消失，应避免这两项为零。’
权重初始化的角度
Xavier初始化+tanh激活函数；
Kaiming初始化+ReLU激活函数；
BatchNorm层；
预训练+finetune
网络结构的角度
网络使用残差结构：自适应网络深度，同时避免梯度消失
RNN中为缓解长期依赖带来的梯度消失，用LSTM、GRU
损失函数的角度
linear+MSE loss; sigmoid+BCE loss; softmax+CrossEntropy loss.通过损失函数来抵消激活函数求导后造成的梯度消失影响
学习率自适应的角度
Adagrad由于累计梯度导致容易梯度消失，可以考虑RMSprop,Adam
2333
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
