机器学习-最小二乘拟合

已于 2022-03-10 10:20:30 修改
阅读量3.8k 收藏 34
点赞数 5
分类专栏： # 机器学习 # python 文章标签： 机器学习 scikit-learn
于 2022-03-07 23:02:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32649321/article/details/123341631
版权
本文介绍了Levenberg-Marquardt算法，一种解决非线性最小二乘问题的方法，结合了梯度下降法和高斯-牛顿法。文中提供了Python和MATLAB的实现示例，并详细阐述了算法原理和评估指标。通过代码展示了如何使用lsqcurvefit、nlinfit和自定义函数进行非线性拟合，并进行了模型评估和误差分析。
摘要由CSDN通过智能技术生成

0.前言
解决非线性问题的方法：
在这里插入图片描述
最小二乘算法：https://www.mathworks.com/help/optim/ug/least-squares-model-fitting-algorithms.html

这里主要记录Levenberg-Marquardt算法学习笔记！

1.Levenberg-Marquardt算法介绍
基本原理：
在这里插入图片描述
在这里插入图片描述
计算当C最小时对应的函数参数。

  • Levenberg-Marquardt（LM）是一种用于解决非线性最小二乘问题的算法，当通过最小化数据点与函数之间误差的平方和来拟合参数化函数到一组测量数据点时，就会出现最小二乘问题。
  • Levenberg-Marquardt曲线拟合方法实际上是两种最小化方法的结合:梯度下降法（ gradient
    descent）和高斯-牛顿法（Gauss-Newton）。
  • 在梯度下降法中，通过在最陡下降方向更新参数来减小误差的平方和。在高斯-牛顿法中，通过假设最小二乘函数是局部二次函数，并求出二次函数的最小值来减小误差的平方和。
  • 评估指标——卡方误差chi-squared error criterion：
    在这里插入图片描述
    在这里插入图片描述
    图片来源：https://msulaiman.org/onewebmedia/LM%20Method%20matlab%20codes%20and%20implementation.pdf

2.Levenberg-Marquardt算法实现-python
最小二乘实现方法：
在这里插入图片描述
python实现方法：https://mmas.github.io/least-squares-fitting-numpy-scipy

scipy.optimize.leastsq(func, x0, args=(), Dfun=None, full_output=0, col_deriv=0, ftol=1.49012e-08, xtol=1.49012e-08, gtol=0.0, maxfev=0, epsfcn=None, factor=100, diag=None)

from scipy.optimize import leastsq
def func(x):
    return 2*(x-3)**2+1
leastsq(func, 0)

non-linear least squares fit：

def residual(p, x, y):
    return y - f(x, *p)

p0 = [1., 8.]
popt, pcov = optimize.leastsq(residual, p0, args=(x, y))

print popt

yn = f(xn, *popt)

plt.plot(x, y, 'or')
plt.plot(xn, yn)
plt.show()

3.Levenberg-Marquardt算法实现-MATLAB
(1)LM算法原理：https://blog.csdn.net/waitingwinter/article/details/106142276

(2)LM算法实现：Matlab

(3)非线性拟合：MATLAB

rng('default');%将 rand、randi 和 randn 使用的随机数生成器的设置重置为其默认值。保证结果重复。
% 生成数据
len = 1000;
x = linspace(0.1, 300, len)';
y = 300*exp(-x/5) + 10;
% 添加噪声
y_noise = y + 20*randn(len, 1);
% 调用 lsqcurvefit
func = @(p, x) p(1)*exp(-x/p(2)) + p(3);
% 选择合适的初始值
p0 = [100, 2 1];
p = lsqcurvefit(func, p0, x, y_noise)

linespace函数：np.linspace(a,b,c)用于创建一个等差序列的向量，向量值是[a,b]之间均匀分布的c个实数。
在这里插入图片描述
拟合结果：

% 拟合结果
y_fit_lsq = func(p, x);
% 调用 nlinfit
pp = nlinfit(x, y_noise, func, p0)

nlinfit函数：beta = nlinfit(X,Y,modelfun,beta0)
使用 modelfun 指定的模型，返回一个向量，其中包含 Y 中的响应对 X 中的预测变量的非线性回归的估计系数。它使用迭代最小二乘估计来估计系数，初始值由 beta0 指定。

绘图：

figure;
plot(x, y_noise, '.', 'LineWidth', 2);
hold on
plot(x, y_fit_lsq, 'LineWidth', 2);
plot(x, y_fit_nlin, 'LineWidth', 2);
hold off
legend('原始数据', '拟合数据-lsqcurvefit', '拟合数据-nlinfit');

结果展示：
在这里插入图片描述
LM算法实现：

p1 = LSFittingExpFree(x, y_noise)
fit1 = func(p1, x);
plot(x, fit1, 'LineWidth', 2);

%%Levenberg_Marquardt LS Fitting
function result = LSFittingExpFree(x, y)
% Levenberg_Marquardt LS Fitting
% 按列排
x = x(:);
y = y(:);
M = length(x);
% Least Squares Minimization 
rng('default');
% 初始值
a = sqrt(rand);
b = sqrt(rand);
c = sqrt(rand);
% 变量个数
nParam = 3;
% 残差
r = y - (a^2 * exp(-x / b^2) + c^2);
% 目标函数
f = r'*r;   
% 正则化因子初值
lambda = 1;     
% 迭代次数
it = 0;         
% 更新标记
updateFlag = true;                  
 % 最大迭代次数
maxIter = 100;    
% 迭代计算
while it < maxIter
    it = it + 1;
    if updateFlag
        Ja = 2 * a * exp(-x / b^2);
        Jb = 2 * a^2 * x .* exp(-x / b^2) / b^3;
        Jc = 2 * c * ones(M, 1);
        J = [Ja, Jb, Jc];
        g = -2 * J' * r;
        H = 2 * (J'*J);
    end
    Hess = H + lambda * eye(nParam);
    s = -Hess \ g;
    a1 = a + s(1);
    b1 = b + s(2);
    c1 = c + s(3);
    r1 = y - (a1^2 * exp(-x / b1^2) + c1^2);
    f1 = r1'*r1;
    fdr = (f - f1) / f;
    if fdr > 0
        a = a1;
        b = b1;
        c = c1;
        f = f1;
        r = r1;
        lambda = 0.1 * lambda;
        updateFlag = true;
    else
        lambda = 10 * lambda;
        updateFlag = false;
    end
    if max(abs(s)) < 1e-6
        disp(['达到收敛条件，迭代次数：' num2str(it)]);
        break;
   elseif it == maxIter
        disp('达到最高迭代次数，可能不收敛；');
    end
end
result = [a^2, b^2, c^2];
end

在这里插入图片描述

代码来源：https://zhuanlan.zhihu.com/p/388676905

完整代码：lsqcurvefit、LSFittingExpFree、nlinfit、lsqnonlin

% 保证结果可重复
rng('default');
% 生成数据
len = 1000;
x = linspace(0.1, 300, len)';
y = 300*exp(-x/5) + 10;
% 添加噪声
y_noise = y + 20*randn(len, 1);
% 调用 lsqcurvefit
func = @(p, x) p(1)*exp(-x/p(2)) + p(3);
%lsqnonlin
funl = @(p,x,y_noise) p(1)*exp(-x/p(2)) + p(3)- y_noise;
% 选择合适的初始值
p0 = [100, 2 1];
p = lsqcurvefit(func, p0, x, y_noise)
options.Algorithm = 'levenberg-marquardt';
% options = optimoptions(@lsqnonlin,'Algorithm','trust-region-reflective');
[p2,resnorm,residual] = lsqnonlin(funl,p0,[],[],options,x,y_noise)
% 拟合结果
y_fit_lsq = func(p, x);
% 调用 nlinfit
pp = nlinfit(x, y_noise, func, p0)

y_fit_nlin = func(pp, x);
p1 = LSFittingExpFree(x,y_noise)
fit1 = func(p1, x);
fit2 = funl(p2,x,y_noise);

figure;
plot(x, y_noise, '.', 'LineWidth', 2);
hold on
plot(x, y_fit_lsq, 'LineWidth', 2);
plot(x, fit1, 'LineWidth', 2);
plot(x, y_fit_nlin, 'LineWidth', 2);
plot(x, fit2+y_noise, 'LineWidth', 2);
hold off
legend('原始数据', '拟合数据-lsqcurvefit','拟合数据-LSFittingExpFree','拟合数据-nlinfit','拟合数据-lsqnonlin');

%%Levenberg_Marquardt LS Fitting
function result = LSFittingExpFree(x, y)
% Levenberg_Marquardt LS Fitting
% 按列排
x = x(:);
y = y(:);
M = length(x);
% Least Squares Minimization 
rng('default');
% 初始值
a = sqrt(rand);
b = sqrt(rand);
c = sqrt(rand);
% 变量个数
nParam = 3;
% 残差
r = y - (a^2 * exp(-x / b^2) + c^2);
% 目标函数
f = r'*r;   
% 正则化因子初值
lambda = 1;     
% 迭代次数
it = 0;         
% 更新标记
updateFlag = true;                  
 % 最大迭代次数
maxIter = 100;    
% 迭代计算
while it < maxIter
    it = it + 1;
    if updateFlag
        Ja = 2 * a * exp(-x / b^2);
        Jb = 2 * a^2 * x .* exp(-x / b^2) / b^3;
        Jc = 2 * c * ones(M, 1);
        J = [Ja, Jb, Jc];
        g = -2 * J' * r;
        H = 2 * (J'*J);
    end
    Hess = H + lambda * eye(nParam);
    s = -Hess \ g;
    a1 = a + s(1);
    b1 = b + s(2);
    c1 = c + s(3);
    r1 = y - (a1^2 * exp(-x / b1^2) + c1^2);
    f1 = r1'*r1;
    fdr = (f - f1) / f;
    if fdr > 0
        a = a1;
        b = b1;
        c = c1;
        f = f1;
        r = r1;
        lambda = 0.1 * lambda;
        updateFlag = true;
    else
        lambda = 10 * lambda;
        updateFlag = false;
    end
    if max(abs(s)) < 1e-6
        disp(['达到收敛条件，迭代次数：' num2str(it)]);
        break;
   elseif it == maxIter
        disp('达到最高迭代次数，可能不收敛；');
    end
end
result = [a^2, b^2, c^2];
end

结果对比：
在这里插入图片描述
在这里插入图片描述
4.Levenberg-Marquardt模型评估
（1）模型评估方法：如lsqnonlin函数中，可以输出resnorm — Squared norm of the residual或residual — Value of objective function at solution。

（2）利用卡方检验Chi-Square Test方法来评估模型：

  • 卡方检验，也称χ 2检验，是检验两个变量之间有没有关系。
  • 卡方检验基本思想：以卡方分布为基础，计算观察值和期望值之间的偏离程度。

卡方检验、t检验和方差分析的区别：https://blog.csdn.net/symoriaty/article/details/100178446
（3）卡方检验（x2检验chi-square test）计算方法：
方法一：四格表资料的x2检验
检验的基本公式为：
在这里插入图片描述
A为实际数；T为理论数；
通过查x2值表求P值，判断两者相关性。

方法二：近似法
计算公式：
在这里插入图片描述

（4）误差分析(来自论文：The Levenberg-Marquardt method for nonlinear least squares
curve-fitting problems)
在这里插入图片描述
在这里插入图片描述

参考资料：
论文：The Levenberg-Marquardt method for nonlinear least squares curve-fitting problems
https://msulaiman.org/onewebmedia/LM%20Method%20matlab%20codes%20and%20implementation.pdf

PPT：Data Modeling and Least Squares Fitting 2
https://www.cs.princeton.edu/courses/archive/fall11/cos323/notes/cos323_f11_lecture08_lsq2

PPT：Numerical Optimization using the Levenberg-Marquardt Algorithm
https://mads.lanl.gov/presentations/Leif_LM_presentation_m.pdf

python实现方法-Least squares fitting with Numpy and Scipy：https://mmas.github.io/least-squares-fitting-numpy-scipy

非线性回归中的Levenberg-Marquardt算法理论和代码实现：https://zhuanlan.zhihu.com/p/349953779；代码：https://github.com/manfrezord/MediumArticles/blob/main/LM-Algorithm.ipynb

RS&
关注
专栏目录
非线性最小二乘问题与Levenberg–Marquardt算法详解
01-07
线性最小二乘法我们应该非常熟悉了，例如对样本数据进行多项式拟合等。但实际工程应用中，我们所接触的很多问题都无法转化为线性方程组，也就无法使用线性最小二乘法进行优化了，那自然而然地我们就应该转而求助于非线性最小二乘法。一直以来，各路大神们提出了各种各样的优化算法，很多都是一脉相承，不断创新的，所以最好不要孤立地看待这些算法。目前来说，Levenberg–Marquardt 法可以说是求解非线性最小二乘问题的标准算法了，也就是应用十分广泛，例如运动参数估计、相机内部参数标定等等，其性能也是得到很多论文背书的。不过，一上来就扔出这么长的一串名字似乎让人觉得 LM 算法十分的复杂，但实际上，LM 算法
matlab练习程序（Levenberg-Marquardt法最优化）
weixin_34384557的博客
07-05 3349
上一篇博客中介绍的高斯牛顿算法可能会有J'*J为奇异矩阵的情况，这时高斯牛顿法稳定性较差，可能导致算法不收敛。比如当系数都为7或更大的时候，算法无法给出正确的结果。 Levenberg-Marquardt法一定程度上修正了这个问题。 计算迭代系数deltaX公式如下： 当lambda很小的时候，H占主要地位，公式变为高斯牛顿法，当lambda很大的时候，H可以忽略，公式变为最速下降法。该...
Levenberg-Marquardt算法浅谈
热门推荐
liu14lang的博客
01-03 8万+
码字不易，转发请注明原文链接 在讲Levenberg-Marquardt算法之前我想先谈下牛顿法和高斯牛顿法。 牛顿法 如果有一点数值计算知识的同学对牛顿迭代法并不陌生，先贴个经典例图来镇楼。 一般来说我们利用牛顿法使用来求f(x)=0的解。求解方法如下： 先对f(x)一阶泰勒展开得 f(x+Δ)=f(x)+f′(x)Δ=0f(x+Δ)=f(x)+f′(x)Δ=0f(x+\Delt...
Levenberg–Marquardt算法学习
Where there is life, there is hope
11-23 4万+
本次是对Levenberg–Marquardt的学习总结，是为之后看懂sparse bundle ajdustment打基础。这篇笔记包含如下内容：回顾高斯牛顿算法，引入LM算法惩罚因子的计算(迭代步子的计算)完整的算法流程及代码样例1.      回顾高斯牛顿，引入LM算法 根据之前的博文：Gauss-Newton算法学习  假设我们研究如下形式的非线性最小二乘问题：  r(x)为某个问题的残差
Levenberg-Marquardt（列文伯格-马夸尔特）算法
Rouen的专栏
11-17 4万+
 什么是最优化？ Levenberg-Marquardt算法是最优化算法中的一种。最优化是寻找使得函数值最小的参数向量。它的应用领域非常广泛，如：经济学、管理优化、网络分析 、最优设计、机械或电子设计等等。 根据求导数的方法，可分为2大类。第一类，若f具有解析函数形式，知道x后求导数速度快。第二类，使用数值差分来求导数。根据使用模型不同，分为非约束最优化、约束最优化、最小二乘最优化。
Levenberg–Marquardt（LM）
starmier的博客
03-11 3216
Levenberg–Marquardt（LM）详解1、基础概念1.1、信赖域法1.2、泰勒展开1.2、正定矩阵(positive definite matrix)1.3、雅克比矩阵(Jacobian matrix)1.4、黑塞矩阵(Hessian matrix)1.5、范数(norm)1.6、非线性最小二乘问题(Non-linear least squares problems)2、LM算法2.1、高斯-牛顿法（Gauss-Newton Method）2.2、Levenberg-Marquardt(LM)
最小二乘拟合的10种案例，最小二乘拟合
11-04
基于MATLAB编程，用最小二乘拟合公式，有10个案例，，代码完整，包含数据，有注释，方便扩展应用 1，如有疑问，不会运行，可以私信, 2，需要创新，或者修改可以扫描二维码联系博主, 3，本科及本科以上可以下载应用...
C++最小二乘拟合直线.docx
12-31
最小二乘法是一种在数据拟合中广泛应用的技术，它的主要目标是找到一条直线或曲线，使得所有数据点...这种技术广泛应用于各种科学和工程领域，如数据分析、信号处理、机器学习等，对于理解数据趋势和模式有着重要作用。
最小二乘 拟合 matlab
05-10
最小二乘法是一种在数学和工程领域广泛应用的优化技术，特别是在数据分析、信号处理和机器学习中。这种方法主要用于从一组观测数据中找到一个模型，使得该模型与数据之间的误差平方和最小。在MATLAB环境中，我们可以...
python最小二乘法三维坐标拟合平面-最小二乘法拟合平面
04-19
Python 语言是一种常用的编程语言，提供了许多有用的库来实现计算机视觉和机器学习任务。 知识点八：平面方程式 平面方程式是指表示平面的数学方程式。在本资源中，我们使用 Ax + By + Cz = D 来表示平面方程式，...
最小二乘法拟合程序.zip_最小二乘拟合程序
07-15
在这个"最小二乘法拟合程序.zip"压缩包中，包含了一个详细解释和易于理解的最小二乘拟合程序，对于需要进行数据拟合的人来说是一个非常实用的工具。 最小二乘法的基本思想是通过最小化误差平方和来寻找最佳拟合线。...
LM(Levenberg–Marquardt)算法原理及其python自定义实现
wolfcsharp的博客
04-29 4万+
LM算法原理及其python自定义实现LM(Levenberg–Marquardt)算法原理LM算法python实现实现步骤：代码：运行结果： LM(Levenberg–Marquardt)算法原理 LM算法作为非线性优化的“标准”方法，算法的数学原理有很多优秀的参考资料。我看过这些参考资料之后，觉得再重新写一遍已经是无力且多余的事情了。我简单说明一下这些参考资料，然后贴上自己的手写笔记。 参考资...
Levenberg–Marquardt算法
qq_36159362的博客
04-15 9940
Levenberg-Marquardt 算法 最优估计算法中通常的做法都是写一个代价函数，并迭代计算最小化代价函数。 解决非线性最小二乘问题的方法有高斯牛顿法等，下面介绍Levenberg-Marquardt 算法： 1. 算法描述 以下引用自维基百科 问题描述 假设 f{\displaystyle f}f是一个从ℜm→ℜn{\displaystyle \Re ^{m} \rightarrow...
Levenberg-Marquardt(LM算法)
Ontheway的博客
03-30 7万+
 转自: 翠翠的博客 什么是最优化，可分为几大类？ 答：Levenberg-Marquardt算法是最优化算法中的一种。最优化是寻找使得函数值最小的参数向量。它的应用领域非常广泛，如：经济学、管理优化、网络分析、最优设计、机械或电子设计等等。 根据求导数的方法，可分为2大类。第一类，若f具有解析函数形式，知道x后求导数速度快。第二类，使用数值差分来求导数。 根据 使用模型不同
levenberg-marquardt算法的MATLAB实现
星梦的博客
04-19 2342
m语言实现主要参照MATLAB帮助文档，利用lsqnonlin实现 帮助文档链接 options.Algorithm = 'levenberg-marquardt'; x = lsqnonlin(fun,x0,[],[],options) 如果是拟合目标函数是传递函数形式，期望得到目标函数的参数问题，建议采用Simulink形式，通过sim函数调用，具体参考MATLAB帮助文档。 lsqnonlin with a Simulink Model 帮助文档链接 sim函数帮助文档 如果
Levenberg-Marquardt算法
chill_chill的博客
07-20 3013
减小,此次更新可以接受并且减小阻尼系数并重复,否则增加,增广正态方程被再次求解而且迭代到有一个。是Hessian矩阵的近似.LM方法实际上求解了一个称为增广正态方程的[2]的变体..像所有的非线性优化方法一样,LM是迭代的设置起始点。.因此，通过求解由加权正态方程定义的加权最小二乘问题。在等式[3]中，几乎是对角的.此时LM的更新步长。被称为阻尼系数.如果被更新的参数向量。梯度的幅值，即等式[2]右侧的。的关系.现在有初始的参数估计。的相应元素相同,对角元素在。的对角元素的策略称为阻尼,...
LM(Levenberg-Marquadrdt )算法在MATLAB中的实现及实例
waitingwinter的博客
05-15 1万+
LM算法简介 考虑如下非线性最小二乘问题min⁡f(x)=12∥r(x)∥2, \min \quad f(x) = \frac{1}{2}\Vert r(x)\Vert^2, minf(x)=21​∥r(x)∥2, 其中残差向量 r:Rn→Rr:\mathbb{R}^n \to \mathbb{R}r:Rn→R 为 r(x)=(r1(x),r2(x),⋯ ,rm(x))T.r(x) = \big(r_1(x),r_2(x),\cdots,r_m(x)\big)^T. r(x)=(r1​(x),r2​(x),
非线性回归中的Levenberg-Marquardt算法理论和代码实现
deephub
02-08 8541
看到一堆点后试图绘制某种趋势的曲线的人。每个人都有这种想法。当只有几个点并且我绘制的曲线只是一条直线时，这很容易。但是每次我加更多的点，或者当我要找的曲线与直线不同时，它就会变得越来越难。在这种情况下，曲线拟合过程可以解决我所有的问题。输入一堆点并找到“完全”匹配趋势的曲线是令人兴奋的。但这如何工作？为什么拟合直线与拟合奇怪形状的曲线并不相同。每个人都熟悉线性最小二乘法，但是，当我们尝试匹配的表达式不是线性时，会发生什么？这使我开始了一段数学文章之旅，stack overflow发布了[1]，一些深奥的数学
基于Levenberg-Marquardt算法改进的BP神经网络-公式推导及应用
m0_61789994的博客
12-18 2669
Levenberg-Marquardt算法是一种用于非线性最小化问题的优化算法，通常用于训练神经网络。它结合了梯度下降和高斯-牛顿方法的特点，旨在提高收敛速度和稳定性。下面是基于Levenberg-Marquardt算法改进的反向传播（BP）神经网络的详细推导过程。考虑一个具有L层的前馈神经网络，其中第l层（l=1,2,...,L）有nl个神经元。令θ表示所有权重和偏置参数的集合。网络的输入为x，输出为y，训练数据集包含N个样本{(xi, yi)}。 - 输入层： - 第l层的激活： - 第
加权最小二乘支持向量机 matlab
最新发布
03-05
加权最小二乘支持向量机（Weighted Least Squ Support Vector Machine，WLSSVM）是一种基于最小二乘法的支持向量机算法，它在解决分类和回归问题时考虑了样本的权重。 在Matlab中，可以使用"fitrsvm"函数来实现加权最小二乘支持向量机。该函数是Matlab的统计和机器学习工具箱中的一个函数，用于训练支持向量机模型。 下面是使用Matlab实现加权最小二乘支持向量机的基本步骤： 1. 准备数据：将输入特征和对应的标签整理成训练集和测试集。 2. 创建加权最小二乘支持向量机模型：使用"fitrsvm"函数创建一个支持向量机模型，并设置相应的参数，如核函数类型、正则化参数等。 3. 训练模型：使用训练集数据和标签来训练支持向量机模型，通过调用"fitrsvm"函数并传入训练数据和标签。 4. 预测：使用训练好的模型对测试集数据进行预测，通过调用"predict"函数并传入测试数据。 5. 评估模型性能：根据预测结果和真实标签，可以使用各种评估指标（如准确率、均方误差等）来评估模型的性能。 下面是一些相关问题：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值