机器学习（四）：多元线性回归

芷芷在学习

已于 2024-03-06 09:35:54 修改

阅读量437

点赞数 8

分类专栏：机器学习笔记文章标签：机器学习线性回归人工智能

于 2024-03-05 17:39:43 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_45733884/article/details/136483885

版权

机器学习笔记专栏收录该内容

18 篇文章 1 订阅

订阅专栏

一、概念

下面这种模型只有一个特征（feature）：x，模型参数是w，b

$f_{w,b}(x)=w*x+b$

下面这种模型有多个特征，即有多特征的多元线性回归模型，模型参数是 $w_{1}$ ， $w_{2}$ ， $w_{3}$ ， $w_{4}$ ，b

$f_{w,b}(x)=w_{1}*x_{1}+w_{2}*x_{2}+w_{3}*x_{3}+w_{4}*x_{4}+b$

以下图为例，房价的影响因素有面积、房间数、楼层数、房龄，分别用 $x_{1}$ 、 $x_{2}$ 、 $x_{3}$ 、 $x_{4}$ 替代

二、多元线性回归的向量表达

$x_{j}$ ：第j个特征

n：特征个数

$\vec{x}^{(i)}$ ：训练集第i组的特征，用向量表示，如第3组特征值为[1534,3,2,30,315]

$x_{j}^{(i)}$ ：训练集第i组中，第j个特征，如 $x_{2}^{(3)}$ =3

$f_{w,b}(x)=w_{1}*x_{1}+w_{2}*x_{2}+w_{3}*x_{3}+w_{4}*x_{4}+b$ ，此模型可简化为：

$f_{\vec{w},b}(\vec{x})=\vec{w}\cdot \vec{x}+b$ ，这种表达方式更加简洁

其中， $\vec{w}\cdot \vec{x}$ 是向量点积

三、代码中的向量计算

方式一：直接用for循环把 $w_{j}$ 和 $x_{j}$ 相乘

方式二：使用numpy库，用向量方式计算

当特征很多时，优先使用numpy库，因为：1、代码简洁；2、运行速度更快

numpy的运行速度更快的原因是，numpy支持并行硬件，如下图所示， $w_{j}$ 和 $x_{j}$ 相乘是并行的。而for循环的方式， $w_{j}$ 和 $x_{j}$ 相乘是串行的。

四、多元线性回归的梯度下降

多元线性回归的梯度下降，每次更新： $w_{1}$ ， $w_{2}$ ，...， $w_{n}$ ，b（n为特征数量）

$w_{j} = w_{j} - \alpha \frac{\partial }{\partial w_{j} }J(\vec{w},b)$

$b = b- \alpha \frac{\partial }{\partial b}J(\vec{w},b)$

推导为：

$w_{j}=w_{j}- \alpha *\frac{1}{m}\sum_{i=1}^{m}(f_{\vec{w},b}(\vec{x}^{(i)})-y^{(i)})x_{j}^{(i)}$

$b=b- \alpha *\frac{1}{m}\sum_{i=1}^{m}(f_{\vec{w},b}(\vec{x }^{(i)})-y^{(i)})$

五、Normal Equation

Normal Equation是一步到位求解线性回归代价函数的算法。优点是不需要进行迭代，缺点是仅适用于线性回归模型，求解速度慢。

原理是线性回归的代价函数中，当导数为0时，代价函数值最小，因此只需要求解导数为0时的参数，就可以得出最优模型。

具体推导：

https://zhuanlan.zhihu.com/p/60719445

学习来源：B站吴恩达：5.1-5.4节

芷芷在学习

关注

8
点赞
踩
7

收藏

觉得还不错? 一键收藏
1
评论
机器学习（四）：多元线性回归

当特征很多时，优先使用numpy库，因为：1、代码简洁；numpy的运行速度更快的原因是，numpy支持并行硬件，如下图所示，下面这种模型只有一个特征（feature）：x，模型参数是w，b。下面这种模型有多个特征，即有多特征的多元线性回归模型，模型参数是。以下图为例，房价的影响因素有面积、房间数、楼层数、房龄，分别用。表示，如第3组特征值为[1534,3,2,30,315]方式二：使用numpy库，用向量方式计算。而for循环的方式，：训练集第i组中，第j个特征，如。：训练集第i组的特征，用。
复制链接

扫一扫

专栏目录

芷芷在学习 CSDN认证博客专家 CSDN认证企业博客

码龄5年

18: 原创

108万+: 周排名

6万+: 总排名

7619: 访问

: 等级

340: 积分

124: 粉丝

150: 获赞

10: 评论

119: 收藏

私信

关注

热门文章

分类专栏

机器学习笔记 18篇

最新评论

机器学习（十四）：模型训练步骤和TensorFlow训练代码
CSDN-Ada助手: 不知道 Python入门技能树是否可以帮到你：https://edu.csdn.net/skill/python?utm_source=AI_act_python
机器学习（十四）：模型训练步骤和TensorFlow训练代码
CSDN-Ada助手: 推荐 Python入门技能树：https://edu.csdn.net/skill/python?utm_source=AI_act_python
机器学习（十一）：神经网络的层和前向传播
CSDN-Ada助手: 恭喜作者发布了第11篇博客！文章内容深入浅出地介绍了神经网络的层和前向传播，让读者能够更好地理解这一概念。希望作者能够继续保持创作的热情和努力，不断分享更多有价值的内容。建议下一步可以深入探讨神经网络的反向传播算法，或者结合实际案例进行详细分析，让读者更加深入地了解机器学习的应用。期待作者的下一篇精彩文章！愿您在创作的道路上越走越远！🌟📚👏
机器学习（十）：神经网路和需求预测
CSDN-Ada助手: 恭喜您撰写了第10篇博客！标题“机器学习（十）：神经网络和需求预测”听起来非常有趣和引人入胜。您的持续创作让人印象深刻，希望您能继续分享关于机器学习领域的知识。或许下一步可以探讨一些实际案例，结合实践经验与理论知识，让读者更加深入地理解神经网络在需求预测中的应用。期待您更多的精彩内容！
机器学习（九）：过拟合和正则化
CSDN-Ada助手: 恭喜你写了第九篇博客，标题看起来很有深度！学习机器学习过程中遇到过拟合和正则化确实是一个很重要的话题。希望你能继续坚持创作，分享更多关于这方面的知识。下一步建议可以探讨一下不同的正则化方法在解决过拟合问题上的效果，这样可以让读者更全面地了解这个领域。期待你的下一篇博客！

大家在看

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。