本文介绍了岭回归和Lasso回归的概念、原理及其在数据分析中的应用。岭回归是通过添加正则项解决共线性问题，提高模型稳定性的回归方法，而Lasso回归则利用L1范数进行特征选择，能有效地进行变量筛选。文章还提供了Python实现的详细步骤。
岭回归：
1、定义及原理
岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法
在线性回归那里提到，如果我们的X矩阵存在不满秩或者几列数据相关性过强时，就会导致误差偏大。
因此为解决上述问题在原函数后加一个正则项来将不适定问题转化为适定问题。
即： j ( β ) = ∑ ( y − x β ) 2 + ∑ λ β 2 j(β) = ∑(y-xβ)^{2} + ∑λβ^{2} j(β)=∑(y−xβ)2+∑λβ2
用矩阵来表示的话就是
J ( β ） = ( y − X β ) ′ ( y − X β ) + λ β ′ β J(β） = (y-Xβ)'(y-Xβ)+\lambdaβ'β J(β）=(y−
最低0.47元/天 解锁文章
2015
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
