深度学习(二) 正则、BN、梯度消失

本文深入探讨深度学习中的正则化策略,包括L1/L2正则、数据增强、早停、参数共享和dropout。接着分析Batch Normalization(BN)的作用,解释它如何解决内部协变量转移并加速学习,同时具有一定的正则化效果。此外,文章还讨论了梯度消失和爆炸的原因及解决方案,如ReLU激活函数、BN层和残差网络。
摘要由CSDN通过智能技术生成
深度学习(二) 正则、BN、梯度消失

2.1 正则化

  • L1、L2正则
  • 数据增强,例如加入随机噪声,输入时加入,在隐藏层加入(方差极小的噪声);图像平移,旋转,色彩变化
  • Early stopping 验证集的训练误差在一定轮数没有降低,则停止训练
  • 参数共享 Weight Sharing CNN
  • Bagging,构建不同的数据集,训练不同的模型,取平均,降低方差
  • dropout 随机化断开连接。可以被认为是在深度神经网络做中bagging 提供了类似的bagging的集成。与bagging不同的是,dropout中的网络共享参数 bagging每一个模型训练到收敛,而drop out中的网络的每一个网络没有训练到收敛。预测的时候,每一个单元的参数要预乘以p。除了正则,drop out还带在模型中引入了稀疏性,引入输出向量的稀疏性
  • BN 有一定的正则化作用,他在mini-batch上取平均,加入噪音,加入了正则
  • 对抗样本训练 在训练完成的网络上,构造对抗样本, x+αΔxJ(w;x,y) x + α Δ x J ( w ; x , y )

2.2 Batch Normalization
  covariate shift
    这个现象指的是训练集数据分布与预测集数据分布不一致。这个问题的解决方法是重新赋予训练集数据新的权重。
    对于样本 xi x i ,它在训练集中的分布是 q(xi) q ( x i ) ,在 预测集中的真实分布是 p(xi) p ( x i ) ,它的新权重就是 p(xi)q(xi) p ( x i ) q ( x i )
    分布如何确认?
      从训练集与验证集采样数据,分别标注为1,-1,
      训练LR分类器进行分类,如果测试集上的表现好,则训练集数据分布不一致

p(z=1|xi)=p
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值