线性回归与梯度下降(理论部分)

最新推荐文章于 2022-03-03 17:15:33 发布

NO0mad

最新推荐文章于 2022-03-03 17:15:33 发布

阅读量428

点赞数

分类专栏：人工智能学习（自用）文章标签：数据结构线性回归回归

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_56695695/article/details/121490157

版权

人工智能学习（自用）专栏收录该内容

3 篇文章 0 订阅

订阅专栏

一、线性回归

线性回归是指为数据集建立最符合其规律的一元或多元线性方程，是一元还是多元取决于数据集中影响结果的因素的种类，有多少种类就是几元。下面会分别介绍。

二、一元线性回归

如它的名字，影响数据结果的因素种类只有一种时可运用它进行拟合。

它的形式通常如下:

$\hat{y}=ax+b$

三、多元线性回归

多元线性回归与一元线性回归区别不大，唯一区别就是影响因素的种类变多了，这里不多赘述，直接给出它的形式：

$\hat{y}=w_{0}+w_{1}x_{1}+w_{2}x_{2}+......+w_{n}x_{n}$

其中 $n$ 为影响因素种类的个数， $w_{0}$ 为线性方程的常数项

四、线性回归方程的求解

线性回归方程求解方式主要有两种，分别是最小二乘法和梯度下降法。下面将讲解梯度下降法。

（1）建立损失函数

$Loss =\frac{1}{2m}\sum_{i=0}^{m-1}(y_{i}-\widehat{y_{i}})^{2}=\frac{1}{2m}\sum_{i=0}^{m-1}Loss_{i}$

其中 $y_{i}$ 表示数据集中第i组数据的实际结果， $\widehat{y_{i}}$ 表示对数据集中第i组数据的预测结果，m为数据组数。

$\widehat{y_{i}}$ 可以表示为俩个矩阵的乘积即

$W_{i}=[w_{i0},w_{i1},w_{i2},w_{i3}...,w_{in}]$

$X_{i}=[1,x_{i1},x_{i2},x_{i3}...,x_{in}]$

$X_{i}$ 第一个元素为1是因为线性方程里还有一个常数项 $w_{i0}$

则

$\widehat{y_{i}}=W_{i}\times X_{i}^{T}=W_{i}\cdot X_{i}$

这里叉乘代表矩阵乘法，点乘代表矩阵相应位置相乘

所以

$Loss_{i}=(y_{i}-\widehat{y_{i}})^{2}=(y_{i}-W_{i}\times X_{i}^{T})^{2}$

(2)求偏导

$\frac{\partial Loss_{i}}{\partial W_{i}}=-2X_{i}^{T}(y_{i}-W_{i}\times X_{i}^{T})$

(3)更新W

$W_{i}^{'}=W_{i}-lr\cdot \frac{\partial Loss_{i}}{\partial W_{i}}$

(4)判断是否在误差范围

若符合

$Loss\leqslant \varepsilon$

则停止迭代，反正继续迭代。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
线性回归与梯度下降(理论部分)

ps：本文章仅用于自身学习，主要为了自己去理解，可能写的不好，所以建议移步其他文章一、线性回归线性回归是指为数据集建立最符合其规律的一元或多元线性方程，是一元还是多元取决于数据集中影响结果的因素的种类，有多少种类就是几元。下面会分别介绍。二、一元线性回归如它的名字，影响数据结果的因素种类只有一种时可运用它进行拟合。它的形式通常如下:三、多元线性回归多元线性回归与一元线性回归区别不大，唯一区别就是影响因素的种类变多了，这里不多赘述，直接给出它的形式：其中为影响因素种类的
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。