正则化是为了降低模型的复杂度，模型过于复杂，则过拟合；
与傅里叶变换类似，高频的部分表示细节，尽量减少高频部分的影响；
傅里叶级数也是，高阶表示细节；
当阶数较高时，在不降低拟合结果的前提下，降低高阶项的系数；
高阶部分的系数会很小，但不一定是0，所以用0-范数不合适，用1-范数或2-范数。
对于多项式拟合，也可以用稀疏编码来解释，这里的基向量就是{
}，找出一组系数{
}，使得系数{
}的大多数项都是0或接近于0，只有少数项远大于0. 低阶项表示多项式的大概形状，高阶项表
L2正则化通过降低模型复杂度来防止过拟合，它类似于傅里叶变换，减少模型对高频细节的依赖。在深度学习中，正则化确保损失函数较小的同时，权重参数总和尽可能小，从而提取主要特征，避免过拟合。稀疏编码也在这一过程中起作用，寻找使大部分权重为0或接近0的系数组合，只保留关键特征。
最低0.47元/天 解锁文章
992
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
