基于Python的岭回归模型

本文是使用Python进行岭回归模型分析，消除多重共线性

一、岭回归原理

自变量之间存在多重共线性，当时，加上一个正的常数矩阵(K>0)，岭回归估计定义公式：

（k为岭参数）

的奇异程度比奇异程度小，其实就是减少了自变量之间的影响，消除多重共线性。其中X是标准化后的矩阵。

由于k是不确定的值，所以就会取一定k值范围，画岭迹图观察最佳的k值。

二、岭迹法

就是画出岭迹图，然后通过观察每个变量的岭迹变化趋势，剔除变化趋势大的自变量，使的岭回归估计变得平稳，由于这种观察具有较强的主观性，因此算是岭回归的一个不足，但是可以根据这个点进行一些其他的定性或者定量的分析。

三、多重共线性的判断

可以阅读这篇文章😘

https://blog.csdn.net/DL11007/article/details/129196843

四、代码实现

from sklearn.datasets import make_regression
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_error
import pandas as pd

#读取数据
df = pd.read_csv('文件路径')  #这里数据以含有四个自变量为例

#建模
result = smf.ols('y~x1+x2+x3+x4',data = df).fit()

# 计算方差扩大因子（多重共线性判断）
VIFlist = []
for i in range(1, 3, 1):
    vif = variance_inflation_factor(result.model.exog, i)
    VIFlist.append(vif)
print(pd.Series(VIFlist))

#岭回归处理（即原理部分）
eps = list(np.random.randn(25))  # 误差项，个数是由数据的条数决定
y = -1.1584 + 0.0547 * df['x1'] + 0.1341 * df['x2'] -0.0548 * df['x3']-0.0320* df['x4'] + eps
df['y'] = y  #覆盖原来的y值

#岭回归模型
dfnorm = (df - df.mean()) / df.std() #标准化自变量矩阵
# 切片将x和y分开
Xnorm = dfnorm.iloc[:, 1:]
ynorm = df.iloc[:, 0]

clf = Ridge()  #岭回归函数
coefs = []   #存放岭回归估计值
errors = []  #存放残差

alphas = np.linspace(0.1, 30, 2000)  #步长为0.1， 取30个alpha值

#遍历每个alpha值，计算出一系列的岭回归估计值
for a in alphas:
    clf.set_params(alpha=a)
    clf.fit(dfnorm, ynorm)
    coefs.append(clf.coef_)

#画岭回归图
plt.subplot(111)  #创建一个画布
ax = plt.gca()   #gca()一个坐标轴的设置函数
ax.plot(alphas, coefs, label=list(Xnorm.keys()))   #画图
ax.legend(list(Xnorm.keys()), loc='best')  #设置图例
plt.xlabel('alpha')
plt.ylabel('weights')
plt.title('Ridge coefficients as a function of the regularization')
plt.axis('tight')
plt.show()

#下面就是删除调变化趋势大的自变量，重复上面的所有的操作，直到一个最优的结果，然后确定k值

总结：

以上就是本次的内容，有疑问和错误的望指出，一起学习和进步！😘