Elastic Net是介于Ridge回归和Lasso回归之间的中间回归。正则项是Ridge和Lasso的正则项的简单混合,可以控制混合比r。当r = 0时,Elastic Net等效于Ridge回归,当r = 1时,它等效于Lasso回归。他的cost function是:
那么什么时候应该使用普通的线性回归,什么时候又用Ridge,Lasso或Elastic Net?
至少一点正则化几乎是必选项,大部分情况可以使模型好很多,因此通常应避免使用纯线性回归。 Ridge是一个很好的默认设置,但是,如果你怀疑只有少数几个功能有用,那么你应该选择Lasso或Elastic Net,因为它们会把无用功能的权重降低到零,如我们上一篇笔记所讨论的。
通常,Elastic Net优于Lasso,因为当特征的数量大于训练实例的数量或多个特征紧密相关时,Lasso的行为可能会不稳定。
机器学习实战(基于scikit-learn和TensorFlow)学习心得(22)--Elastic Net以及regression的选择
最新推荐文章于 2023-03-31 15:22:47 发布