最小二乘原理几何意义及详细公式推导

最新推荐文章于 2025-03-16 16:03:33 发布
最新推荐文章于 2025-03-16 16:03:33 发布
阅读量1k 收藏 2
点赞数
分类专栏： 参数估计 文章标签： 线性代数 几何学 矩阵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39721991/article/details/125765627
版权
本文深入探讨了最小二乘法的基本原理，特别是在误差存在时寻找最佳解的方法。通过列向量空间、向量的线性组合和投影矩阵的几何解释，详细阐述了最小二乘的公式推导。此外，还介绍了加权最小二乘的概念，它是对基本最小二乘法的进一步扩展。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最小二乘

最小二乘原理是解决当误差等因素存在时，向量b不在设计矩阵A的列项量空间中时，如何求得最优解的方法。这里依然以图片的形式给出，因为在word中编辑好以后在以图片的形式给出，能更好的保证公式推导的流畅性，更容易理解。在后续内容中从列向量空间，向量的线性组合，投影矩阵的角度给出最小二乘原理的几何解释及详细的公式推导，欢迎大家批评指正。![在这里插入图片描述](https://img-blog.csdnimg.cn/e637d85818dd4667adb2160b5997606a.jpeg#pic_center
在这里插入图片描述在这里插入图片描述

加权最小二乘

在上一节最小二乘原理的基础上进一步引入加权最小二乘。
在这里插入图片描述在这里插入图片描述

线性代数 --- 最小二乘在直线拟合上的应用与Gram-Schmidt正交化（下）
松下J27录放机
04-11 872
在上一篇文章中，我通过一个例子来说明最小二乘在拟合直线时所发挥的作用，也通过两个插图的比较进一步的阐明了投影与最小化e之间的密切关系。 在这篇文章中，我们依然会从一个最小二乘的例子开始，所不同的是，三个点的值比较特殊，继而引出Gram-Schmidt正交化的概念。
最小二乘法原理的几何解释
12-14
本文从代数几何的角度来解析分析在线性回归中使用的最小二乘法原理。
最小二乘的几何解释
柯拉的博客
04-10 1545
最小二乘主要用来做线性回归。 数据集形式为：(X,T),X ,T 分别代表自变量与因变量。用矩阵来表示训练数据时，往往每行代表一个数据。假设w 是回归系数，与x的维数相同。那么最小二乘估计形式为： ，L是loss function，包含了训练数据的所有误差，把误差分散在每个训练数据上。L(W）展开后的形式为： 。对展开式关于W求导后令倒数为0，得到 这就是回归系数的解析解。 ...
最小二乘法之直线拟合理论分析与推导（行空间、列空间、几何解释、概率解释）
最新发布
shannanshouyin的博客
03-16 880
从行空间、列空间、几何、概率论等多角度详细分析并推导了最小二乘法，并附以示例与图片参考。
数值计算之 最小二乘法（2）最小二乘的几何意义
qq_41035283的博客
11-25 2340
数值计算之 最小二乘法（2）最小二乘的几何意义前言线性最小二乘解的存在性最小二乘解的几何意义 前言 上篇中，超定线性方程组Ax=bAx=bAx=b的最小二乘解满足ATAx=ATbA^TAx=A^TbATAx=ATb，当AAA是列满秩矩阵时，x=(ATA)−1ATbx=(A^TA)^{-1}A^Tbx=(ATA)−1ATb。 线性最小二乘解的存在性 首先要确定的是：对于任何超定的线性方程组Ax=bAx=bAx=b，都是有最小二乘解的。 证明： ATAx=ATbrank(ATA,ATb)=rank(AT(A,b
最小二乘法的最简单的几何解释，非常直观！
qq_30339595的博客
12-11 4322
最小二乘法就是解一个无解的线性方程组 要找到解，就要找到a1,a2的一个线性组合，使得组合后的向量刚好等于b。可惜的是任何的a1和a2线性组合，只可能出现在a1,a2所在的平面S上（这个平面S就是传说中的向量空间），但是向量b不在平面S上，如下图。不可能找到解，怎么办呢？ 无解 —>解出一个最接近的解 找不到完美的解，就只能找到一个最接近的解。所以我们想在平面S上找一个最接近向量b的向量...
最小二乘法的几何解释
Macer3的博客
09-12 1万+
用通俗易懂的语言，从列向量的几何角度解释了最小二乘法.
最小二乘法以及正交最小二乘(OLS)的推导与简单比较
qq_41332314的博客
10-23 4070
简单记录一下，OLS与LS的推导思想
主成分分析(PCA降维)与最小二乘-原理以及详细推导
日渐学习
06-27 1万+
重新整理了PCA相关的原理和推导
GNSS数据处理 ----＞ 最小二乘算法
weixin_47833373的博客
05-06 1505
伪距单点定位中最下二乘的原理
最小二乘球拟合(高斯牛顿法)
闪电彬彬的博客
01-25 1924
最小二乘拟合球
平面度误差的最小二乘法分析
01-12
本文就平面的误差的数学模型与最小乘法建立理想平面的数学模型展开分析讨论；并结合事例分析，得出较客观的评定平面误差或测量较大的平面度误差，最小二乘法是最佳的方法。
最小二乘法 几何意义
BIG SHARK的博客
07-17 3599
上次写了篇文章来阐述几何投影与傅里叶级数的联系，今天我想谈谈几何投影与最小二乘法的联系，这种联系的好处是不管多复杂的公式，又可以被瞬间记住了。本文的中心思想是：最小二乘法中的几何意义是高维空间中的一个向量在低维子空间的投影。这个思想在MIT教授GilbertStrang的线性代数的公开课程上有讨论，这里我会把这个思想详细的阐述一遍。文章最后会把傅里叶级数和最小二乘法放在一起做个比较和总结，希望大...
线性回归1：最小二乘法及其几何意义
Titus_1996的博客
09-19 3289
一 最小二乘法法 假设我们有以下样本点： 假设我们要拟合的直线为： 因此要拟合的直线可简化为： 我们期望每个样本点与所要拟合的直线距离最小。因此，应该对所有样本点与拟合直线上的点的误差之和最小，得最小二乘估计如下： 连加符号便于表示，但不好计算啊，为了求闭合解，要用矩阵和向量表示，因此将其展开，写成向量相乘的形式得： 接下来就是本科的线性代数知识了。观察...
线性回归--最小二乘法的意义
liuyangdashuaibi的博客
04-08 601
线性回归的目的是建立一个系统，将向量x作为输入，预测标量y’作为输出。 我们定义输出为：y’ = Ax + b （其中 A 是与x维数相同的参数向量，b是标量）。 我们如何理解A？ 答：A的每个分量可以看做是对应X分量的权重，Ai越大，xi对预测值的影响就越大，若为0，则无影响。 我们怎么评估这个系统的好坏？ 答：我们通过损失函数来度量预测的y’和真实的y差异程度。在线性回归中，经常使用MSE（均方误差）、MAE（均绝对值误差）。 构建算法 我们通过训练集(x,y)学习，来改变A的值，进而减小MSE的值。
最小二乘的几何意义及投影矩阵
qiangzi的博客
12-12 1678
什么是最小二乘？ 假设我们手上有n组成对的数据，{(xi,yi):i=1…n}，为了探究y变量与x变量的关系，我们希望用一个多项式来匹配它，可是多项式中的系数怎么确定呢？拿来拼凑肯定是不行的，最小二乘法告诉我们，这个多项式的系数应该让每个点的误差的平方之和最小。 （百度百科）最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘
两阶段最小二乘法_加权最小二乘法(文末送书)
weixin_39921087的博客
12-15 1456
总第222篇/张俊红今天这篇来讲讲加权最小二乘法(WLS)，加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的。主要是用来解决异方差问题的，关于异方差可以看看：讲讲什么是异方差OLS的常规形式如下：我们在前面讲过OLS有几个基本假定，其中一个就是ui是随机干扰项，即随机波动的，不受其他因素的影响，即在x取不同值时var(ui)都是一个固定的常数。但有的时候ui不是随机干扰项，...
最小二乘法的几何意义 – 巧妙记忆公式的方法
热门推荐
xiaoshengforever的专栏
11-08 2万+
上次写了篇文章来阐述几何投影与傅里叶级数的联系，今天我想谈谈几何投影与最小二乘法的联系，这种联系的好处是不管多复杂的公式，又可以被瞬间记住了。本文的中心思想是：最小二乘法中的几何意义是高维空间中的一个向量在低维子空间的投影。这个思想在MIT教授Gilbert Strang的线性代数的公开课程上有讨论，这里我会把这个思想详细的阐述一遍。文章最后会把傅里叶级数和最小二乘法放在一起做个比较和总结，希望大
详解最小二乘法
twdlll的博客
04-10 2576
最小二乘法    在阅读西瓜书时，一开始很疑惑为什么可以用最小二乘法去求解线性模型的最优参数解，后来通过学习Andrew Y. Ng的机器学习课程终于明白了最小二乘法求参的缘由，并分享给大家我的理解。   由于涉及数学理论的知识，总离不开大量的公式。为了不过于枯燥，我尽量让本文显得通俗易懂些。但其实更希望朋友们能静下心来，细细推导每一个公
介绍一下最小二乘直线拟合算法
03-08
<think>嗯，用户想了解最小二乘法的直线拟合算法原理。我得先回忆一下相关知识。最小二乘法应该是用来找到数据的最佳拟合直线，使得所有数据点到这条直线的垂直距离平方和最小。对吧？那具体是怎么推导的呢？ 首先，我记得直线方程通常是y = kx + b，其中k是斜率，b是截距。目标是最小化误差平方和，也就是Σ(y_i - (kx_i + b))²。这个表达式要对k和b分别求偏导，然后令导数为零，解方程组得到k和b的值。对吧？ 不过具体步骤可能有点模糊。比如，怎么展开这个误差函数，求导后得到什么样的方程组？可能涉及到对k和b的偏导数分别处理。然后联立方程解出k和b的表达式。比如，对k求偏导得到Σ2(y_i - kx_i - b)(-x_i) = 0，对b求偏导则是Σ2(y_i - kx_i - b)(-1) = 0。整理这两个方程应该能得到正规方程组。 然后可能需要用线性代数的方法，把方程组写成矩阵形式，比如Ax = B，然后求解x。这里的x应该就是k和b组成的向量。这样可能更高效，特别是在编程实现的时候，比如用Matlab的矩阵运算。 另外，用户提供的引用里提到解方程组得到k和b的表达式，这可能对应到正规方程的解。例如，通过代数运算，k的表达式可能涉及协方差和方差，而b则是均值点减去k乘以x的均值。不过具体的公式可能需要再查证一下，确保正确性。 还要注意，最小二乘法的假设是误差在y方向上，且满足高斯-马尔可夫条件，比如误差的均值为零，同方差，且不相关。这可能在某些情况下不适用，比如有异方差性时，这时候可能需要加权最小二乘法或者其他方法。 在应用方面，最小二乘直线拟合常用于数据趋势分析，回归分析，工程上的校准曲线等。比如在实验数据中，找出变量之间的线性关系，进行预测或者控制。 可能用户还想知道如何评估拟合的好坏，这时候可以提到残差分析，R平方值等指标。不过用户的问题主要集中在算法原理，所以这部分可能暂时不需要深入，但相关的后续问题可能会涉及。 最后，确保回答的结构清晰，先讲原理，再推导过程，可能给出公式，然后简要提到实现步骤，如引用中的Matlab代码。同时生成的相关问题需要考虑用户可能进一步想了解的内容，比如优缺点、实现步骤、数学推导细节等。</think>### 最小二乘法直线拟合算法原理介绍 #### 1. 问题定义 给定一组二维数据点$(x_i, y_i)$，需找到一条直线$y = kx + b$，使得所有点到直线的**垂直误差平方和最小**，即最小化目标函数： $$E = \sum_{i=1}^n (y_i - (kx_i + b))^2$$ #### 2. 数学推导 **步骤1：构建目标函数** 将误差平方和展开： $$E = \sum_{i=1}^n (y_i - kx_i - b)^2$$ **步骤2：对参数求偏导** 分别对$k$和$b$求偏导并令其为零，得到方程组： $$ \begin{cases} \frac{\partial E}{\partial k} = -2\sum (y_i - kx_i - b)x_i = 0 \\ \frac{\partial E}{\partial b} = -2\sum (y_i - kx_i - b) = 0 \end{cases} $$ **步骤3：整理方程组** 将方程组化简为： $$ \begin{cases} k\sum x_i^2 + b\sum x_i = \sum x_i y_i \\ k\sum x_i + bn = \sum y_i \end{cases} $$ **步骤4：解线性方程组** 通过代数消元法或矩阵运算求解$k$和$b$，最终得到： $$ k = \frac{n\sum x_i y_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}, \quad b = \frac{\sum y_i - k\sum x_i}{n} $$ #### 3. 几何意义 最小二乘法通过调整$k$和$b$，使所有数据点到直线的**垂直距离平方和最小**，反映了数据在统计学中的线性趋势[^1]。 #### 4. 实现步骤 1. 计算$\sum x_i$, $\sum y_i$, $\sum x_i y_i$, $\sum x_i^2$ 2. 代入公式计算$k$和$b$ 3. 验证拟合效果（如计算残差） ```matlab % MATLAB示例代码 x = [1,2,3,4,5]; y = [2,3,5,6,8]; n = length(x); sum_x = sum(x); sum_y = sum(y); sum_xy = sum(x.*y); sum_x2 = sum(x.^2); k = (n*sum_xy - sum_x*sum_y)/(n*sum_x2 - sum_x^2); b = (sum_y - k*sum_x)/n; ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值