深度学习中的正则化
0 简介
机器学习中的一个核心问题是设计不仅在训练数据上表现好,而且能在新输入上泛化好的算法。采用显式减少测试误差(可能会增加训练误差)的策略称为正则化。
在深度学习的背景下,大多数正则化策略都会对估计进行正则化(以偏差的增加换取方差的减小),我们的实现一个好的情境就是显著减少方差而不过度增加偏差。
模型族训练的三种情况:
①不管真实数据的生成过程—-欠拟合,高偏差;
②匹配真实数据的生成过程—-较好拟合;
③除了包括匹配真实的数据生成过程,还包括许多其他可能的生成过程—-方差主导过拟合
正则化的目标是使模型从第三种情况转化为第二种情况。
从最小化泛化误差的意义上,最好的拟合模型是一个适当正则化的大型模型。
1 参数范数的惩罚
Jˆ(θ;X,y)=J(θ