本文详细介绍了深度学习中的正则化技术，包括L2和L1参数正则化，参数约束，数据集增强，噪声鲁棒性，半监督学习，多任务学习，提前终止等方法。正则化的主要目标是防止过拟合，提高模型在新数据上的泛化能力。L2正则化通过权重衰减降低方差，L1正则化则能产生稀疏模型。数据集增强和噪声注入是有效提高模型健壮性的手段，提前终止和多任务学习则是正则化的实用策略。
深度学习中的正则化
0 简介
机器学习中的一个核心问题是设计不仅在训练数据上表现好，而且能在新输入上泛化好的算法。采用显式减少测试误差（可能会增加训练误差）的策略称为正则化。
在深度学习的背景下，大多数正则化策略都会对估计进行正则化（以偏差的增加换取方差的减小），我们的实现一个好的情境就是显著减少方差而不过度增加偏差。
模型族训练的三种情况：
①不管真实数据的生成过程—-欠拟合，高偏差；
②匹配真实数据的生成过程—-较好拟合；
③除了包括匹配真实的数据生成过程，还包括许多其他可能的生成过程—-方差主导过拟合
正则化的目标是使模型从第三种情况转化为第二种情况。
从最小化泛化误差的意义上，最好的拟合模型是一个适当正则化的大型模型。
1 参数范数的惩罚
Jˆ(θ;X,y)=J(θ
最低0.47元/天 解锁文章
扫一扫
874
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
