这篇博客介绍了线性回归的几种正则化方法，包括岭回归、Lasso回归和弹性网络。岭回归通过添加L2范数惩罚项来避免过拟合；Lasso回归利用L1范数促进稀疏性，可以消除不重要特征的权重；弹性网络结合两者优点，适用于特征相关性高的情况。文章讨论了这些方法如何在过拟合、多重共线性等问题上提供解决方案，并给出了sklearn库的使用示例。
线性回归
感觉线性回归当中讲的东西不太多，前提是不涉及贝叶斯的情况，关于贝叶斯相关的回归，可以学习一下bishop的PRML（模式识别与机器学习），之前我在学习统计相关的课程的时候也接触过一点。。。记得lasso、岭回归什么的都是贝叶斯线性回归的退化情况。
普通的广义线性模型，都是拟合一个带有系数 
的线性模型，使得数据集实际观测数据和预测数据（估计值）之间的残差平方和最小。其数学表达式为：
，当然如果是做分类的话，请参照李航的logistic回归、后面的博客我在仔细说一下关于logistics回归与softmax回归。后面得到系数
这篇博客主要介绍岭回归、lasso、弹性网络回归三种线性回归加正则项的方式并比较一下。事实上降低模型的过拟合的好方法是正则化这个模型（即限制它）：模型有越少的自由度，就越难以拟合数据。例如，正则化一个多项式模型，一个简单的方法就是减少多项式的阶数。
对于一个线性模型，正则化的典型实现就是约束模型中参数的权重。 接下来我们将介绍三种不同约束权重的方法：Ridge 回归，Lasso 回归和 Elastic Net。
岭回归
岭回归通过对系数的大小施加惩罚来解决
最低0.47元/天 解锁文章
扫一扫
453
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
