机器学习算法（2）—— 线性回归算法

2401_84183492

于 2024-05-01 08:03:45 发布

阅读量389

点赞数 14

分类专栏：程序员文章标签：算法机器学习线性回归

本文链接：https://blog.csdn.net/2401_84183492/article/details/138365826

版权

程序员专栏收录该内容

124 篇文章 0 订阅

订阅专栏

1 线性回归简介

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

在这里插入图片描述

h代表学习算法的解决方案或函数，也称为假设（hypothesis），h(x)代表预测的值

注意：

只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归
特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。
线性回归当中主要有两种模型，一种是线性关系，另一种是非线性关系

2 线性回归的初步使用

线性回归API

sklearn.linear_model.LinearRegression()

LinearRegression.coef_：回归系数

在这里插入图片描述

'''导入模块'''
from sklearn.linear_model import LinearRegression

'''构造数据集'''
x = [[80, 86],
	 [82, 80],
	 [85, 78],
	 [90, 90],
	 [86, 82],
	 [82, 90],
	 [78, 80],
	 [92, 94]]
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]

'''模型训练'''
# 实例化一个估计器
estimator = LinearRegression()
# 使用fit方法进行训练
estimator.fit(x,y)
# 查看回归系数值
coef = estimator.coef_
print("系数是：\n",coef) # [0.3 0.7]
# 预测值
prediction = estimator.predict([[100, 80]])
print("预测值是：\n",prediction) # [86.]

3 损失函数

为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数

在这里插入图片描述
如上图所示，真实结果与我们预测的结果之间存在一定的误差，而这个误差（损失）可以计算出来：

在这里插入图片描述

注意：

yi为第i个训练样本的真实值
h(xi)为第i个训练样本特征值组合预测函数
又称最小二乘法
损失函数（Loss Function）度量单样本预测的错误程度，损失函数值越小，模型就越好。
代价函数（Cost Function）度量全部样本集的平均误差。
目标函数（Object Function）代价函数和正则化函数，最终要优化的函数。

4 优化算法

如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）

线性回归经常使用的两种优化算法

正规方程
梯度下降法

4.1 正规方程

什么是正规方程
正规矩阵求解

把损失函数转换成矩阵写法：
在这里插入图片描述

其中y是真实值矩阵，X是特征值矩阵，w是权重矩阵

对其求解关于w（w为自变量）的最小值，导数为零的位置，即为损失的最小值
在这里插入图片描述

注意：

式(1)到式(2)推导过程中,X是一个m行n列的矩阵，并不能保证其有逆矩阵，但是右乘X的转置XT把其变成一个方阵，保证其有逆矩阵。式（5）到式（6）推导过程中，和上类似。（面试官可能让你手推公式）

即正规方程为：
在这里插入图片描述

X为特征值矩阵，y为目标值矩阵。直接求到最好的结果
当特征过多过复杂时，求解速度太慢并且得不到结果

4.2 梯度下降

梯度下降

梯度下降法的基本思想可以类比为一个下山的过程。

假设这样一个场景：一个人被困在山上，需要从山上下来(找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，（同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走）。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。

在这里插入图片描述

梯度是微积分中一个很重要的概念

在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率。
在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的反方向（α为负的原因）一直走，就能走到局部的最低点！

梯度下降公式

梯度下降公式（Gradient Descent）
在这里插入图片描述
注意：
α在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过α来控制每一步走的距离，α不能太大也不能太小，太小的话，可能导致迟迟走不到最低点，太大的话，会导致错过最低点。

所以有了梯度下降这样一个优化算法，回归就有了"自动学习"的能力

梯度下降举例

（1）单变量函数的梯度下降

我们假设有一个单变量的函数 :J(θ) = θ²
函数的微分:J’(θ) = 2θ
初始化，起点为： θº = 1
学习率：α = 0.4
我们开始进行梯度下降的迭代计算过程:
在这里插入图片描述

如下图，经过四次的运算，也就是走了四步，基本就抵达了函数的最低点，也就是山底

在这里插入图片描述
（2）多变量函数的梯度下降

我们假设有一个目标函数：:J(θ) = θ₁² + θ₂²
现在要通过梯度下降法计算这个函数的最小值。我们通过观察就能发现最小值其实就是 (0，0)点。但是接下来，我们会从梯度下降算法开始一步步计算到这个最小值! 我们假设初始的起点为: θº = (1, 3)
初始的学习率为:α = 0.1
函数的梯度为:▽:J(θ) =< 2θ₁ ,2θ₂>

进行多次迭代:
在这里插入图片描述
我们发现，已经基本靠近函数的最小值点

4. 梯度下降算法

常见的梯度下降算法有：

全梯度下降算法(Full gradient descent），
随机梯度下降算法（Stochastic gradient descent），
随机平均梯度下降算法（Stochastic average gradient descent）
小批量梯度下降算法（Mini-batch gradient descent）,

它们都是为了正确地调节权重向量，通过为每个权重计算一个梯度，从而更新权值，使目标函数尽可能最小化。其差别在于样本的使用方式不同。

（1）全梯度下降算法（FG）

在这里插入图片描述
（2）随机梯度下降算法（SG）

在这里插入图片描述
（3）小批量梯度下降算法（mini-bantch）

在这里插入图片描述
（4）随机平均梯度下降算法（SAG）

（5）算法比较

以下6幅图反映了模型优化过程中四种梯度算法的性能差异。
在这里插入图片描述

在这里插入图片描述
结论：

FG方法由于它每轮更新都要使用全体数据集，故花费的时间成本最多，内存存储最大。
SAG在训练初期表现不佳，优化速度较慢。这是因为我们常将初始梯度设为0，而SAG每轮梯度更新都结合了上一轮梯度值。
综合考虑迭代次数和运行时间，SG表现性能都很好，能在训练初期快速摆脱初始梯度值，快速将平均损失函数降到很低。但要注意，在使用SG方法时要慎重选择步长，否则容易错过最优解。
mini-batch结合了SG的“胆大”和FG的“心细”，从6幅图像来看，它的表现也正好居于SG和FG二者之间。在目前的机器学习领域，mini-batch是使用最多的梯度下降算法，正是因为它避开了FG运算效率低成本大和SG收敛效果不稳定的缺点。

4.3 优化方法比较

在这里插入图片描述

梯度下降要设置α并不保证一次能获得最优的α，正规方程不用考虑α。
梯度下降要迭代多次，正规方程不用。（所以，遇到比较简单的情况，可用正规方程）
梯度下降最后总能得到一个最优结果，正规方程不一定。因为正规方程要求X的转置乘X的结果可逆。
当特征数量很多的时候，正规方程计算不方便，不如梯度下降。

算法选择依据：

小规模数据：
- 正规方程：LinearRegression(不能解决拟合问题)
- 岭回归
大规模数据：
- 梯度下降法： SGDRegressor

4.4 线性回归api再介绍

数据集介绍

在这里插入图片描述

（1）线性回归:正规方程

sklearn.linear_model.LinearRegression(fit_intercept=True)

fit_intercept：是否计算偏置
LinearRegression.coef_：回归系数（y=kx+b中的 k）
LinearRegression.intercept_：偏置（y=kx+b中的 b）

回归模型评估

在这里插入图片描述

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

'''获取数据集'''
data = load_boston()

'''划分数据集'''
x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

'''特征工程：数据标准化'''
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.fit_transform(x_test)

'''机器学习：线性回归（正规方程）'''
estimator = LinearRegression()
estimator.fit(x_train, y_train)

'''模型评估'''
y_predict = estimator.predict(x_test)
print("预测值为：", y_predict)
print("系数值为：", estimator.coef_)
print("偏置值为：", estimator.intercept_)
error = mean_squared_error(y_test, y_predict)
print("均方误差为：", error)

（2）线性回归:梯度下降法

SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。

sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)

参数：

loss:损失类型
- loss=”squared_loss”: 普通最小二乘法
fit_intercept：是否计算偏置
learning_rate : 学习率填充， string类型，optional
- 'constant': eta = eta0 对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。
- 'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
- 'invscaling': eta = eta0 / pow(t, power_t)

属性：

SGDRegressor.coef_：回归系数
SGDRegressor.intercept_：偏置

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

'''获取数据集'''
data = load_boston()

'''划分数据集'''
x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)


![img](https://img-blog.csdnimg.cn/img_convert/f718357c87363a526dca1a7b1af1023c.png)
![img](https://img-blog.csdnimg.cn/img_convert/bf9e0b728aabacca857b33609ebc82de.png)
![img](https://img-blog.csdnimg.cn/img_convert/03d425e35e24b0c41244e188a68fce51.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

_test = train_test_split(data.data, data.target, test_size=0.2)


[外链图片转存中...(img-Oi8qulNt-1714521775721)]
[外链图片转存中...(img-7WZXT4y5-1714521775721)]
[外链图片转存中...(img-amJTQQzf-1714521775722)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

2401_84183492

关注

14
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
机器学习算法（2）—— 线性回归算法

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。h代表学习算法的解决方案或函数，也称为假设（hypothesis），h(x)代表预测的值只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。线性回归当中主要有两种模型，一种是线性关系，另一种是非线性关系数据集介绍（1）线性回归:正规方程：是否计算偏置。
复制链接

扫一扫