深度学习(二) 正则、BN、梯度消失
2.1 正则化
- L1、L2正则
- 数据增强,例如加入随机噪声,输入时加入,在隐藏层加入(方差极小的噪声);图像平移,旋转,色彩变化
- Early stopping 验证集的训练误差在一定轮数没有降低,则停止训练
- 参数共享 Weight Sharing CNN
- Bagging,构建不同的数据集,训练不同的模型,取平均,降低方差
- dropout 随机化断开连接。可以被认为是在深度神经网络做中bagging 提供了类似的bagging的集成。与bagging不同的是,dropout中的网络共享参数 bagging每一个模型训练到收敛,而drop out中的网络的每一个网络没有训练到收敛。预测的时候,每一个单元的参数要预乘以p。除了正则,drop out还带在模型中引入了稀疏性,引入输出向量的稀疏性
- BN 有一定的正则化作用,他在mini-batch上取平均,加入噪音,加入了正则
- 对抗样本训练 在训练完成的网络上,构造对抗样本, x+αΔxJ(w;x,y) x + α Δ x J ( w ; x , y )
2.2 Batch Normalization
covariate shift:
这个现象指的是训练集数据分布与预测集数据分布不一致。这个问题的解决方法是重新赋予训练集数据新的权重。
对于样本 xi x i ,它在训练集中的分布是 q(xi) q ( x i ) ,在 预测集中的真实分布是 p(xi) p ( x i ) ,它的新权重就是 p(xi)q(xi) p ( x i ) q ( x i )
分布如何确认?
从训练集与验证集采样数据,分别标注为1,-1,
训练LR分类器进行分类,如果测试集上的表现好,则训练集数据分布不一致
p(z=1|xi)=p