数据正则化总结

最新推荐文章于 2023-06-12 19:13:25 发布

silentkunden

最新推荐文章于 2023-06-12 19:13:25 发布

阅读量6k

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/java_hzp/article/details/103962778

版权

机器学习专栏收录该内容

9 篇文章 1 订阅

订阅专栏

涉及机器学习或者深度学习的问题的时候总能听到有人提起“正则化”，可能都会模糊的知道，正则化是一种有效的防止过拟合，提高模型泛化能力的有效手段。而过拟合可以理解是模型太过复杂，过分的考虑当前数据的分布结构，过分的拟合当前的数据。在早期的机器学习领域一般只是将范数惩罚叫做正则化技术,而在深度学习领域认为：能够显著减少方差,而不过度增加偏差的策略都可以认为是正则化技术,故推广的正则化技术还有：扩增样本集,早停止,Dropout,集成学习,多任务学习,对抗训练,参数共享等。

在线性代数中，正则化主要是：

正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方向，使最终的解倾向于符合先验知识(如一般的l-norm先验，表示原问题更可能是比较简单的，这样的优化倾向于产生参数值量级小的解，一般对应于稀疏参数的平滑解)。
同时，正则化解决了逆问题的不适定性，产生的解是存在，唯一同时也依赖于数据的，噪声对不适定的影响就弱，解就不会过拟合，而且如果先验(正则化)合适，则解就倾向于是符合真解(更不会过拟合了)，即使训练集中彼此间不相关的样本数很少。

机器学习正则化

正则化等价于结构风险最小化：其是通过在经验风险项后加上表示模型复杂度的正则化项或惩罚项达到选择经验风险和模型复杂度都较小的模型目的。其中，机器学习中的风险是指模型与真实解之间的误差的积累,经验风险是指使用训练出来的模型进行预测或者分类,存在多大的误差,可以简单理解为训练误差,经验风险最小化即为训练误差最小。结构风险定义为经验风险与置信风险(置信是指可信程度)的和,置信风险越大,模型推广能力越差.可以简单认为结构风险是经验风险后面多加了一项表示模型复杂度的函数项,从而可以同时控制模型训练误差和测试误差,结构风险最小化即为在保证模型分类精度(经验风险)的同时,降低模型复杂度,提高泛化能力.

2.正则化等价于带约束的目标函数中的约束项:以平方误差损失函数和 L2 范数为例,优化问题的数学模型如下：

针对上述带约束条件的优化问题,采用拉格朗日乘积算子法可以转化为无约束优化问题,即

由于参数 C 为常数,可以忽略,故上述公式和标准的正则化公式完全一致.

常见机器学习正则化技术：L1 和 L2 范数

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。

L1正则化是指向量元素中各个元素的绝对值之和， p 范数取 1 则为 1 范数：

L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择。

L2正则化是向量元素绝对值的平方和再开方，也称为欧几里得距离, p 范数取 2 则为 2 范数
L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

公式推导分析

此处采用损失函数为误差平方和、正则项为 L1 和 L2 范数的线性回归为例讲解。增加 L2 正则项后其代价函数为：

其中 m 为样本个数，n 为特征个数，

为原代价函数，

为 L2 范数。

为了最小化代价函数,直接对各 j 进行求导然后等于 0 即可求得估计值,可得：

从上式可以看出： $\alpha$ 为步长， $0<1-\alpha\frac{\lambda }{m}<1$ ,很明显 L2 范数的作用就是对每一个 $\theta$ j 进行了一定程度的缩减，但是一定不会缩减为 0，从公式也可以看出 L2 范数的作用。

对于 L1 正则项后其代价函数为：

直接对各 $\theta$ j 进行求导然后等于 0 即可求得估计值，可得：

从上式可以看出：当上一轮 $\theta$ j 大于 0 时，下一次更新 $\theta$ j 一定减少，当上一轮 $\theta$ j 小于 0 时，下一次更新 $\theta$ j 一定增加,也就是说每一轮训练, $\theta$ j 都是一定往 0 方向靠近,最终可得近似的稀疏解,同样从公式也可以看出 L1 范数的作用。参数优化速度 L1 快于 L2,但是 L2 更容易理解,计算更方便.。