学习记录（二）——线性回归模型

最新推荐文章于 2024-09-13 19:41:31 发布

qq_44615263

最新推荐文章于 2024-09-13 19:41:31 发布

阅读量117

点赞数

文章标签： python sklearn

本文链接：https://blog.csdn.net/qq_44615263/article/details/123737271

版权

本文是学习记录的第二部分，详细介绍了三种线性回归模型：简单线性回归，包括公式描述；接着探讨了岭回归，其通过L2范数正则化改进线性回归；最后提到了LASSO回归，一种同时进行变量选择和正则化的高效方法。

摘要由CSDN通过智能技术生成

学习记录（二）——几种线性回归模型

简单线性回归

$y=\beta_0+\beta_1x_1+...+\beta_kx_k+\zeta$

岭回归

损失函数为线性最小二乘函数，正则化采用L2范数。

最小目标函数：
$||y-Xw||^2_2+\alpha||w||^2_2$

LASSO回归

套索回归(Least Absolute Shrinkage and Selection Operator)是一种既进行变量选择又进行正则化的方法，以提高其生成的统计模型的预测精度和可解释性。

from sklearn.linear_model import LinearRegression
from sklearn.linear_model import Rigde
from sklearn.linear_model import Lasso
import pandas as  pd

X_train = pd.DataFrame()
T_trian = pd.DataFrame()
X_test = pd.DataFrame()
T_test = pd.DataFrame()

## 模型训练
model = LinearRegression()  #简单线性回归
# ridge_model = Ridge(alpha=0.01)   #岭回归
# Lasso_model = Lasso(alpha=0.001)   #Lasso回归

model.fit(X_train,Y_train)  #数据pd格式
a  = model.intercept_#截距
b = model.coef_#回归系数 

## 模型测试
Y_pred = model.predict(Linear_test_input)

## 模型评价
from sklearn import metrics
print("Explained Variance Score: ", 
    metrics.explained_variance_score(Y_test, Y_pred))
print('Mean Absolute Error:', 
    metrics.mean_absolute_error(Y_test, Y_pred))
print('Mean Squared Error:', 
    metrics.mean_squared_error(Y_test, Y_pred))
print('Root Mean Squared Error:', 
    np.sqrt(metrics.mean_squared_error(Y_test, Y_pred)))