使用python进行ridge回归

最新推荐文章于 2024-08-14 18:06:05 发布

fitzgerald0

最新推荐文章于 2024-08-14 18:06:05 发布

阅读量9.8k

点赞数 2

分类专栏：统计学数据建模

本文链接：https://blog.csdn.net/fitzgerald0/article/details/75210328

版权

统计学同时被 2 个专栏收录

19 篇文章 8 订阅

订阅专栏

数据建模

7 篇文章 0 订阅

订阅专栏

前文我们诊断出三个自变量之间存在严重共线性，那么，我们先使用岭回归，进行建模，然后，使用lasso回归。

岭回归，是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法

通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

先使用R语句如下：

install.packages('ridge')
library(ridge)
rig=linearRidge(y~., data=D) # 这里的D是前文已经定义好的，如果有步明白请再次翻看前文
summary(rig)

出现报错，不知道是什么原因，在网上找了也没有合适的解决方案，那么咱就不拘泥于一个软件

##########################################

那就使用python

import pandas as pd
data=pd.read_csv('/Users/Documents/train_test_model/ridgereg1.csv')

#导入数据，数据来源于张文彤spss高级教程中的，婴儿身长，头围，体重，预测周龄
#三个自变量之间存在严重的共线性，所以，看考虑使用岭回归方法，在spss中，也是需要编程实现的
#所幸的是，python中的sklearn中，实现更加便捷
x_data=data[['long','touwei','weight']] # 定义三个自变量
y_data=data['y']
from sklearn.linear_model import Ridge
ridge=Ridge().fit(x_data,y_data)
print("Training set score:{}".format(ridge.score(x_data,y_data)))
print("ridge.coef_: {}".format(ridge.coef_))
print("ridge.intercept_: {}".format(ridge.intercept_))

#以下就是得到的回归系数，如果没有忘记的话，上面普通逐步回归方法做出来的
#回归系数是 1.692736 -2.158831 0.007472 截距是Intercept 11.011694

#使用岭回归以后的回归系数和截距分别是，合理很多
ridge.coef_: [ 1.32650855 -1.624669 0.00731216]
ridge.intercept_: 10.8370697013
当然你也可以指责我，明明使用了两种不同的软件是否有比较严谨

好了，下面把python线性回归的方法语句贴出来

python实现线性回归语句

import pandas as pd

data=pd.read_csv('/Users/Documentsl/ridgereg.csv')

x_data=data[['long','touwei','weight']] # 定义三个自变量
y_data=data['y']
from sklearn.linear_model import LinearRegression
lr=LinearRegression().fit(x_data,y_data)
lr

print("lr.coef_: {}".format(lr.coef_)) # 打印出回归系数
print("lr.intercept_: {}".format(lr.intercept_)) # 打印截距

得到
回归系数: [ 1.69273561 -2.15883088 0.00747203]

截距: 11.0116943268

对比R实现

回归系数是 1.692736 -2.158831 0.007472

截距是Intercept 11.011694

抱歉，两种软件在线性回归得到同样的值。

#######################################################################################

正如上文一开始说的，lasso方法也是值得我们试一试的，请看

R实现lasso回归

install.packages("lars")
library(lars)
la<-lars(x,y,type="lar")
plot(la)
summary(la)

得到：

LARS/LAR
Call: lars(x = x, y = y, type = "lar")
Df Rss Cp
0 1 990.36 712.391
1 2 481.25 337.894
2 3 46.34 18.272
3 4 24.34 4.000