疑问及思考:对于梯度爆炸与梯度消失的影响理解还不透彻,只知道多层神经网络后梯度可能趋于非常大或者接近0 的值, 但实际上呢?例如权重裁剪,可以解决爆炸的问题吗?会不会反而带来了梯度消失的问题?这种是不是得通过实验来获得感性认识。
过拟合、欠拟合以及解决方案; 梯度消失梯度爆炸;循环神经网络进阶
训练集、验证集、测试集
验证集与测试集的差异
验证集用于调参,而测试集仅仅用于评价模型好坏,不能用于调参
而测试集往往较大, 大于训练集与验证集
过拟合解决
drop out, 以一定概率关闭一层内的神经元,降低对某些神经元的依赖,从而提高鲁棒性
k 折, 通过k折法来调参选参
权重衰减, L2范数正则化, 好比岭回归里面加入了参数平方项
梯度消失及梯度爆炸
深度学习中往往会面临此类问题
常用方法, 随机初始化参数,
对于梯度爆炸,可采取权重裁剪法
循环神经网络
GRU 与 LSTM , 噢,还有个双向循环
好吧,囫囵吞枣还没来得及消化