scikit-learn 线性回归原理与使用

最新推荐文章于 2024-08-18 20:51:39 发布

智商捉急网骗娘

最新推荐文章于 2024-08-18 20:51:39 发布

阅读量590

点赞数

分类专栏：机器学习算法 python 文章标签：线性回归机器学习算法 python

本文链接：https://blog.csdn.net/qq_37212752/article/details/83151495

版权

本文介绍了scikit-learn中的线性回归模型，包括普通线性回归的最小二乘法原理，岭回归在处理共线性问题上的改进，以及lasso回归通过拉格朗日乘数法实现系数缩减。通过对比，展示了三种模型在过拟合、共线性情况下的应用场景和选择策略。

摘要由CSDN通过智能技术生成

一、普通线性回归

原理：最小二乘法
假定输人数据存放在矩阵X中，而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过Y=X*W给出。有一些X和对应的Y,怎样才能找到W呢？一个常用的方法就是找出使误差最小的W。这里的误差是指预测Y值和真实Y值之间的差值，使用该误差的简单累加将使得正差值和负差值相互抵消，所以我们采用平方误差。

（y - w*x）^2     
y^2 - 2*w*x*y + x^2*w^2
-2xy + 2x^2*w = 0
-y + wx = 0
xw = y
xTxw = xTy         # 两边乘以xT 转置矩阵
w = (xTx)^-1(xTy) # 平方和最小的情况：w在求导时为0

import numpy as np
from pandas import Series,DataFrame
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
import sklearn.datasets as datasets
from sklearn.metrics import r2_score

diabetes = datasets.load_diabetes()
data = diabetes.data
target = diabetes.target
feature_names = diabetes.feature_names
samples = DataFrame(data = data, columns = feature_names)       # 将ndarray数据转成DataFrame (442, 10)

X_train = samples[:400]       #