上面是一个加入了正则化的线性回归(linear regression)的损失方程(loss function)。
Lambda调优
Lambda太小发挥正则化的作用会较小,太大会低估(underfitting)模型。
Regularization methods (L1 & L2)
上面正则化方法是Ridge Regression (L2) 。另外一个叫 Lasso Regreesion (L1),,是将每一个系数的绝对值加起来。当然也可将将二者结合起来,得到Elastic Net Regression 。L2 regularization tends to yield a “dense”解,各个参数会平等的被降低。L1 会生成比较“sparse”的解,找到最重要的feature,忽略其他的,因此常用来做feature的筛选。(?)
参考:
1. http://dshincd.github.io/blog/regularization/
2. 统计机器学习
3. Regularization in Statistics