线性回归——最小二乘法的不同理解

已于 2024-02-21 00:43:49 修改
阅读量838 收藏 19
点赞数 27
文章标签： 线性回归 最小二乘法 机器学习
于 2024-02-20 01:01:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mrforth/article/details/136161685
版权
本文探讨了机器学习中最小二乘法的应用，从几何角度解释了为何寻找参数使误差平方和最小，以及如何从概率视角（频率学派）理解，结合高斯噪声和最大似然。文章还提及了贝叶斯学派的不同处理方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 写在前面

最近在上机器学习中的数学这门课。虽然前面的矩阵部分与我大学四年学习的线性代数部分有较大重合部分，但是这门课让我更好认识到向量和矩阵的实际应用情况，解决了很多为什么的问题，而不是为了刷题。在这里，我更了解到了最小二乘法在线性回归中的由来，与此同时结合我之前了解到的高斯噪声和最大似然，我发现了很有意思的一点。

2. 几何视角

假设有(x_1,y_1), (x_2,y_2), (x_3,y_3)......(x_n,y_n)， 如果我们要线性拟合这些点，那么我们用最小二乘法可以有argmin\sum_{i=1}^{n}(\beta_0+\beta_1x_1+...+\beta_nx_n-y_i)^2，我们需要找到一组参数使得该式达到最小。我们不妨把该式写成这样的形式：

(AX-y)^T(AX-y)

注意上式，A是输入矩阵而X是参数\beta_i组成的列向量，y是输出组成的列向量。因此我们需要找到X，使上式达到最小，求解如下：

最低0.47元/天 解锁文章
JCHEN161
关注
线性回归——最小二乘法代数详细计算过程
Murphy_study的博客
01-24 1703
通过找到一条直线去拟合数据点的分布趋势的过程，就是线性回归的过程。在上图呈现的这个过程中，通过找到一条直线去拟合数据点的分布趋势的过程，就是线性回归的过程。而线性回归中的「线性」代指线性关系，也就是图中所绘制的红色直线。所以，找到最适合的那一条红色直线，就成为了线性回归中需要解决的目标问题。
一元线性回归——最小二乘法详细介绍
m0_74383359的博客
06-12 1142
形如：y=k*x+b的图像。我们可以根据点到直线的距离计算出距离，使得距离最小。得到一个关于k与b的一元线性方程。为了使得距离最小，在高等数学里面一般就是求导、当倒数等于零时取最小。所以说我们要对这个一元线性方程对k,b分别进行求导。最后算出两个关于k和b的式子到这一步基本上我们回归方程基本构建完成。提示：以下是本篇文章正文内容，下面案例可供参考示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。# 第一个函L = len(x)# 获取当前数据的长度。
线性回归——最小二乘法
qq_50722863的博客
05-13 3916
线性回归：自变量和因变量之间是线性关系，例如：h= a0+a1x1+a2x2+…+anxn。线性回归预测的一般步骤：假设特征变量Xi满足线性关系，然后根据给定的训练数据训练出一个模型，最后通过此模型进行预测。线性回归的根本就是求解最小损失函数，常用的方法有：最小二乘法，梯度下降法和正则化。 ...
[机器学习]简单线性回归——最小二乘法
啦啦啦
01-28 707
【代码】[机器学习]简单线性回归——最小二乘法。
线性回归——最小二乘法矩阵求解
Murphy_study的博客
01-25 735
（56, 72, …, 94, 74以及92, 102, …, 105, 92是。
机器学习(1): 线性回归——最小二乘法 小结
TechArtisan6的博客
06-26 3786
目录 1 最小二乘法简介 2 最小二乘法历史 3 基本形式 4 一元线性回归 5 多元线性回归 参考资料 1 最小二乘法简介 最小二乘法（Least square method，又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于...
【机器学习】线性回归——最小二乘法（理论+图解+公式推导）
CSDN 精品推荐
08-22 7185
如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录一、概述二、最小二乘估计 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。 一、概述 在生活实际中经常遇到一些情况，比如根据公司内部一些人的工资待遇去预测一个将从事相同工作人的工资，我们需要根据已有数据来对未来的数据进行推测。 在高中时候我们学过最小二乘法就是求 a∗和b∗a^*和b^*a∗和b∗ 去拟合一条直线，来最大程度的是我们.
简单线性回归——最小二乘法的实现
m0_63717760的博客
05-29 365
noise=np.random.normal(0,2,(1,50)) # 生成一个形状为(1,50)的数组，包含来自正态分布的随机噪声。w=np.sum(y*(x-x_avg))/(np.sum(x*x)-x_avg*np.sum(x)) # 使用最小二乘法公式计算斜率。x=np.linspace(1,20,50) # 生成一个包含50个点的等差数列，从1到20。print(w_real,w) # 打印真实的斜率和估计的斜率。x_avg=np.mean(x) # 计算x的平均值。
线性回归——最小二乘法（公式推导和非调包实现）
尼克不可的博客
05-06 2906
接上一篇文章【线性回归——二维线性回归方程（证明和代码实现）】 前言： 博主前面一篇文章讲述了二维线性回归问题的求解原理和推导过程，以及使用python自己实现算法，但是那种方法只能适用于普通的二维平面问题,今天博主来讲一下线性回归问题中更为通用的方法,也是我们实际开发中会经常用到的一个数学模型,常用的解法就是最小二次乘法和梯度下降法.博主今天对最小二乘法进行推导并使用Python代码自定义实现,...
机器学习的基本概念
最新发布
搏博的专栏
04-26 997
在这一阶段中，符号学习的研究也取得了很大进展，它与连接学习各有所长，具有较大的互补性。1980年他在卡内基-梅隆大学召开的机器学习研讨会上做了“为什么机器应该学习”的发言，在此发言中他把学习定义为：学习是系统中的任何改进，这种改进使得系统在重复同样的工作或进行类似的工作时，能完成得更好。在20世纪80年代，由于对智能机器人的研究取得了一定的进展，同时又出现了一些发现系统，于是人们开始把学习看作是从感性知识到理性知识的认识过程，从表层知识到深层知识的特化过程，即发现事物规律、形成理论的过程。
基于机器学习的房租影响因素分析系统
XiaoCoder的博客
04-22 323
③：技术栈：Django, Pandas, NumPy, Scikit-learn, Plotly, Bootstrap 5, jQuery。④：影响因素分析：使用随机森林算法分析影响租金的主要因素及其重要性。③：地理位置分析：通过热力图展示不同区域的租金分布及地理影响因素。⑤：租金预测功能：根据房屋特征预测租金价格，支持多条件组合预测。②：面积与租金关系：分析房屋面积与租金之间的相关性及趋势。①：租金分布分析：展示不同价格区间的房源数量分布情况。③ 高性能的数据处理机制，支持百万级数据快速分析。
机器学习特征工程中的数值分箱技术：原理、方法与实例解析
青蛙博客
04-24 1340
分箱技术作为机器学习特征工程中的关键环节，通过将数值数据划分为离散区间，能够有效提升模型对非线性关系的捕捉能力，同时增强模型对异常值的鲁棒性并提高计算效率。本文全面介绍了分箱技术的核心原理，深入探讨了等宽分箱、等频分箱、分位数分箱和模型驱动分箱等多种方法，并结合实际案例（如温度预测、房价分析、PM2.5数据处理等）对不同分箱策略的适用场景进行了详细对比。此外，文章还提供了代码示例，帮助读者掌握分箱技术的实现要点以及效果评估方法，旨在使读者能够根据数据特点和业务需求灵活选择分箱策略，从而显著提升模型性能。
SVM（支持向量机）
pljnb的博客
04-21 457
将不同类别的样本分隔开。SVM的核心目标是找到一个。
【开关电源】关于GaN反激电源开关噪声
weixin_55524636的博客
04-22 387
研究GaN反激电源的开关噪声。
让机器学习更透明：使用 Python 开发可解释性模型工具包
Echo_Wish
04-19 214
这是专为那些渴望提升Python技能的朋友们量身打造的专栏，无论你是已经有一定基础的开发者，还是希望深入挖掘Python潜力的爱好者，这里都将是你不可错过的宝藏。LIME 适用于局部解释，例如针对某个用户的信用评分或单个病例的风险评估，使业务人员能理解单个预测结果背后的原因。不论你是想挑战高难度的算法，还是希望在职业道路上更进一步，这里都有你需要的干货和灵感。：通过丰富的实战案例，带你一步步实现复杂的项目，从理论到实践，全面提升你的编程能力。，帮助开发者揭开模型决策的神秘面纱，让 AI 既聪明又透明。
第44讲：玩转土壤数据！用机器学习挖掘地球皮肤的秘密 [特殊字符][特殊字符]
weixin_73531395的博客
04-22 418
在这篇分享中，我们：✅ 理解了为什么土壤建模值得做✅ 完成了一个完整的 SOC 预测建模流程✅ 实现了从点数据到空间预测图的跨越✅ 初窥机器学习与农业环境科学融合的威力土壤并不沉默，它有它的语言。机器学习，正是你与它对话的桥梁。
机器学习漏洞大汇总——利用机器学习服务
技术超强的网络安全平台
04-24 691
在本节中，我们将展示机器学习框架中存在的漏洞，这些漏洞会直接处理模型工件，或者通过工件存储或模型注册表的凭证来处理。利用此类漏洞，攻击者可以在企业系统内部进行非常强大的横向移动，从而劫持被利用的模型注册表中的机器学习模型。
基于机器学习的网络钓鱼邮件智能检测与防护系统
流浪法师的博客
04-25 655
phishingDP 是一个基于机器学习的网络钓鱼邮件智能检测与防护系统，旨在通过深度学习技术识别潜在的钓鱼邮件，保护用户免受网络诈骗威胁。该系统集成了数据预处理、模型训练、实时预测和结果可视化功能，提供用户友好的Web界面，支持邮件内容输入、预测结果展示以及模型性能分析。
多元线性回归和最小二乘法
01-09
然而值得注意的是，二者并非孤立存在而是相辅相成的整体部分——最小二乘法作为最常用的损失函数之一被用来指导多元线性回归建模过程中的参数调整方向，从而确保最终获得的理想化的解析表达式能最大程度贴近实际情况...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值