【深度学习】防止梯度消失的方法
深度网络容易出现梯度消失问题,造成网络学习停滞。深度网络中参数的梯度为激活值与状态梯度的乘积(例如 ∂ l o s s ∂ w 2 = ∂ l o s s ∂ z 3 ∂ z 3 ∂ w 3 = ∂ l o s s ∂ z 3 a 2 ( z 3 = w 2 a 2 ) \frac{\partial{loss}}{\partial w_2} = \frac{\partial{loss}}{\partial z_3}\frac{\partial{z_3}}{\partial w_3}=\frac{\partial{loss}}{\partial z_3}a_2(z_3=w_2a_2) ∂w2∂loss=∂z3∂loss∂w3∂z3=∂z3∂lossa2(z3=w2a2)),为了避免梯度消失,应避免这两项为零。’
权重初始化的角度
Xavier初始化+tanh激活函数;
Kaiming初始化+ReLU激活函数;
BatchNorm层;
预训练+finetune
网络结构的角度
网络使用残差结构:自适应网络深度,同时避免梯度消失
RNN中为缓解长期依赖带来的梯度消失,用LSTM、GRU
损失函数的角度
linear+MSE loss; sigmoid+BCE loss; softmax+CrossEntropy loss.通过损失函数来抵消激活函数求导后造成的梯度消失影响
学习率自适应的角度
Adagrad由于累计梯度导致容易梯度消失,可以考虑RMSprop,Adam