weight decay就是在原有loss后面,再加一个关于权重的正则化,类似与L2 正则,让权重变得稀疏;
参考:https://www.zhihu.com/question/24529483
dying relu是当梯度值过大时,权重更新后为负数,经relu后变为0,导致后面也不再更新。
三种办法:leak-relu、降低学习率、用 momentum based 优化算法,动态调整学习率
参考:https://www.zhihu.com/question/67151971
在训练模型时,有时候需要对新加入的数据进行finetune,但可能finetune不动了,这就有可能是kernel为0了(weight decay和 dying relu造成的)。
解决的办法是,训练的时候固定scale。
参考:https://zhuanlan.zhihu.com/p/61587832
另参考
为什么bn后不加bias:
https://blog.csdn.net/u010698086/article/details/78046671
https://blog.csdn.net/hjxu2016/article/details/81813535
https://blog.csdn.net/elysion122/article/details/79628587