一文速学-最小二乘法曲线拟合算法详解+项目代码_origin最小二乘法拟合

特征

选取策略

2.最小二乘原则

定义

解法总览

三、最小二乘解法

1.确定函数类

2.求解方程

极小值原理：

求解方程组

定理

特例

四、代码实现

点关注，防走丢，如有纰漏之处，请留言指教，非常感谢

---

---

前言

我们知道一般都是从多个点来画出直线，那么如果点的排列并非能够用一条直线来拟合，但是又需要找到这样一条线来拟合多个坐标轴上面的点，那么一般都是采用曲线进行拟合。但是如何在众多密集且离散的分布点中找到一条曲线来尽可能多的去拟合多个点呢？这就需要我们采取相应的算法或者策略。

我们需要使这条直线到各个数据点之间的误差最小且更可能的逼近，那么宏观来看该算法应该是全局最优算法，所以根据此我们使用最小二乘法来拟合离散的点尽可能使这些数据点均在离此曲线的上方或下方不远处。它既能反映数据的总体分布，又不至于出现局部较大的波动。我们现在我们来从零开始探索该算法。

本篇博客的愿景是希望我或者读者通过阅读这篇博客能够学会方法并能实际运用，而且能够记录到你的思想之中。希望读者看完能够提出错误或者看法，博主会长期维护博客做及时更新。

---

一、曲线拟合策略

在工程实际应用和科学实验中通过测量得到的一组离散的数据点，为了从中找到两个变量中间的内在规律性，也就是求自变量和因变量之间的近似程度比较好的函数关系式，这类问题有插值法和曲线拟合法。这类问题的插值法和曲线拟合法，当个别数据的误差较大时，插值效果显然是不理想的，而且实验或观测提供的数据个数往往较多，用插值法势必得到次数较高的插值多项式，会出现龙格现象。这时候最优策略就是选择曲线拟合策略了。

我们从数据出发构造一个近似函数，只要求所得的近似曲线能反映数据的基本趋势，使求得的逼近函数与已知函数从总体上来说偏差的平方和最小，这就是最小二乘法。

二、最小二乘法理论基础

1.残差

原理

要从零基础了解最小二乘法，那么我们需要把支撑最小二乘法的原理和算法搞懂，首先我们要了解什么是残差。我们知道曲线拟合不要求近似曲线严格过所有的数据点，但使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到总体上尽可能最小。那么我们估计的曲线与真实点的差距就是残差。

我们设线性回归模型为，其中：

• Y是有相应变量构成的n维向量
• X是阶设计矩阵
• 是维向量
• 是n维随机变量

回归系数的估计值,拟合值