机器学习实战(基于scikit-learn和TensorFlow)学习心得(22)--Elastic Net以及regression的选择

Elastic Net是介于Ridge回归和Lasso回归之间的中间回归。正则项是Ridge和Lasso的正则项的简单混合，可以控制混合比r。当r = 0时，Elastic Net等效于Ridge回归，当r = 1时，它等效于Lasso回归。他的cost function是:

那么什么时候应该使用普通的线性回归，什么时候又用Ridge，Lasso或Elastic Net？
至少一点正则化几乎是必选项,大部分情况可以使模型好很多，因此通常应避免使用纯线性回归。 Ridge是一个很好的默认设置，但是，如果你怀疑只有少数几个功能有用，那么你应该选择Lasso或Elastic Net，因为它们会把无用功能的权重降低到零，如我们上一篇笔记所讨论的。
通常，Elastic Net优于Lasso，因为当特征的数量大于训练实例的数量或多个特征紧密相关时，Lasso的行为可能会不稳定。