1.引入
为了防止过拟合的现象出现,引入正则化方法。
(1)岭回归就是引入L2正则化项
(2)lasso回归就是引入L1正则化项
(3)ElasticNet回归就是引入L1和L2正则化项(lasso和ridge回归组合)。
公式:
2.概念
将下面之前先来了解一下什么叫L0/L1/L2范数
L0:向量中非零元素个数
L1:向量中各元素的绝对值之和(美称‘稀疏规则算子’)
L2:向量中各元素的平方和后再对和开平方(有点像欧式距离)
3.比较
岭回归(Ridge )与Lasso回归最大的区别在于岭回归引入的是L2范数惩罚项,Lasso回归引入的是L1范数惩罚项,Lasso回归能够使得损失函数中的许多θ均变成0,这点要优于岭回归,因为岭回归是要所有的θ均存在的,这样计算量Lasso回归将远远小于岭回归。
ElasticNet 是一种使用L1和L2先验作为正则化矩阵的线性回归模型.这种组合用于只有很少的权重非零的稀疏模型,比如Lasso, 但是又能保持Ridge 的正则化属性.我们可以使用 l1_ratio 参数来调节L1和L2的凸组合(一类特殊的线性组合)。当多个特征和另一个特征相关的时候弹性网络非常有用。Lasso 倾向于随机选择其中一个,而弹性网络更倾向于选择两个.在实践中,Lasso 和岭回归之间权衡的一个优势是它允许在循环过程(Under rotate)中继承岭回归的稳定性.
4.源码
稍后补充