模型正则化(减小自由度)是减少过拟合的方法之一。
对多项式模型来说,正则化可以通过减少阶数来实现。
对线性模型来说,正则化往往通过约束模型的权重来实现。
1. Ridge Regression 岭回归, 又名 Tikhonov regularization
岭回归是线性回归的正则化版本,即在原来的线性回归的 cost function 中添加正则项(regularization term): α∑ni=1θ2i α ∑ i = 1 n θ i 2 ,以达到在拟合数据的同时,使模型权重尽可能小的目的:
【式-1】岭回归代价函数
即
也即
- α=0 α = 0 :岭回归退化为线性回归
- α α 很大:所有的权值都趋于0,最终的优化结果为训练集的均值(a flat line)。
- w=[0,θ1,⋯,θn]T w = [ 0 , θ 1 , ⋯ , θ n ] T
在利用梯度下降法求解时,有:
【式-2】岭回归梯度向量
令【式-2】取0即可得到闭式解
【式-3】岭回归的闭式解
- A∈Rn×n A ∈ R n × n 为单位矩阵,左上角的元素为0,与bias term 对应。
【注意】
- 偏差项 θ0 θ 0 并没有包含在正则项中,即sum的下标从1开始,而不是0.
- 正则项只在模型训练的过程中加在 cost function 中,一旦模型完成训练,在评估模型 performance 的时候 应该使用没有加正则项的形式。=> 训练时的 cost function 和测试时的 performance measure 可以不相同!cost function 需要考虑易于寻优的问题,而 performance measure 应和最终的目标尽可能相近!
- 由于对输入特征的Scale非常敏感,在进行岭回归分析前对数据进行归一化(例如利用Scikit-Learn的StandardScaler进行预处理)非常重要。(适用于大多数正则化模型)
2. Lasso Regression
Least Absolute shrinkage and Selection Opperation Regression (Lasso Regression)
Lasso 回归是线性回归的另一种正则化版本,正则项为权值向量的 ℓ1 ℓ 1 范数:
【式-4】Lasso回归的代价函数
【注意
- Lasso Regression 的代价函数在
θi=0
θ
i
=
0
处是不可导的.
- 解决方法:在
θi=0
θ
i
=
0
处用一个次梯度向量(subgradient vector)代替梯度,如式-5
【式-5】Lasso Regression 的次梯度向量
Lasso Regression 有一个很重要的性质是:倾向于完全消除不重要的权重。
例如:当 α α 取值相对较大时,高阶多项式退化为二次甚至是线性:高阶多项式特征的权重被置为0。
也就是说,Lasso Regression 能够自动进行特征选择,并输出一个稀疏模型(只有少数特征的权重是非零的)。
3. Elastic Net (弹性网络)
弹性网络在岭回归和Lasso回归中进行了折中,通过 混合比(mix ratio) r 进行控制:
- r=0 r = 0 :弹性网络变为岭回归
- r=1 r = 1 :弹性网络便诶Lasso回归
【式-6】弹性网络的代价函数
一般来说,我们应避免是用朴素线性回归,而应对模型进行一定的正则化处理,那如何选择正则化方法呢?
- 常用:岭回归
- 假设只有少部分特征是有用的:弹性网络 或者 Lasso
- 一般来说,弹性网络的使用更为广泛。因为在 特征维度高于训练样本数 或者 即为特征是强相关 的情况下,Lasso回归的表现不太稳定。
4. Early Stopping
Early Stopping 也是正则化迭代学习算法(如GD)的方法之一。其做法为:在验证错误率达到最小值的时候停止训练。
beatutiful free lunch
——Geoffrey Hinton