最近在看深度模型处理nlp文本分类。一般在写模型的时候,L2正则化系数设为0了,没有去跑正则化。还有一个小trick,就是一些权重的初始化,比如CNN每层的权重,以及全连接层的权重等等。
一般这些权重可能选择随机初始化,符合某种正态分布。虽然结果影响不大,但是肯定会影响模型收敛以及准确率的。
先上两张图。
第一张图是我没有加正则化防止过拟合以及随机初始化权重矩阵的accuracy图。
第二章是我加了L2正则化以及用某种方法初始化权重后的结果,发现模型比较稳定,而且没有出现过拟合现象,也就是没有像第一幅图那样,到某个阶段准确率急速下降。
怎么加正则化就不说了,怎么初始化权重的话,可以看这个链接。
https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit