高斯牛顿法与列文伯格--马夸尔特法优缺点

最新推荐文章于 2023-08-25 16:53:20 发布
最新推荐文章于 2023-08-25 16:53:20 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： slam 文章标签： slam
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44039228/article/details/106469792
版权

高斯牛顿法

算法步骤：
在这里插入图片描述
增量方程求解占主要地位。

缺点

原则上要求所用的近似矩阵H是可逆的（而且是正定的），但实际计算得到的只是半正定的。所求的H可能为奇异矩阵的或者是病态的，增量稳定性差，导致算法不收敛，即使假设所求的H为非奇异矩阵也非病态，如果步长过大，也会导致局部近似不准确，可能出现不收敛甚至发散。
属于liner search类即:固定方向，寻找不步长。

列文伯格–马夸尔特法

在高斯牛顿法上改进
在这里插入图片描述
在这里插入图片描述
可避免高斯牛顿法出现的病态和非奇异问题，提供更稳定的更准确的增量
属于Trust Region类:固定搜索区域，在该区域内选取最优点。收敛速度会比高斯牛顿法慢

薛定谔有个猫
关注
专栏目录
列文伯格-马夸尔特算法LM算法（基于Python编程语言实现）
04-06
列文伯格-马夸尔特算法应用于神经网络网络参数优化
LM(列文伯格-马夸尔特)方法的个人理解，以及实现问题
Pengcode的博客
08-04 8052
前言 LM方法是适用于求解方程最小值的一种方法，在非线性优化的框架中，优化方法分为Line Search 和 Trust Region，也就是线搜索和信任域方法，它们是两种不同性质的方法。 不同之处: LIne Search:不管当前迭代点X(k)到最优解X*之间的路径，每次迭代X(k)得到X(k+1),都是使用该点的反向梯度方向进行值得寻找，这就导致了这样一种可能得问题：‘在靠近X*的时候，X(k)反复震荡，不容易收敛。这种情况特别是会发生在固定迭代步长的时候，Eg:对于求解f(x)=x^2的最优解
视觉SLAM笔记--第4篇: 高斯牛顿法(GN)和列文伯格-马夸特算法(LM)的算法流程，优劣分析
w风的季节-博客
05-07 5970
GN和LM的算法流程，优劣分析参考博客数学基础(泰勒展开)1. 高斯牛顿法(GN法)1.1 基本原理1.2 GN迭代算法步骤1.3 优缺点2. 列文伯格-马夸特法(LM法)2.1 基本原理2.2 LM迭代算法步骤2.3 优缺点 参考博客 参考博客: https://blog.csdn.net/heshaofeng2ly/article/details/105812746#3GN_50 参考博客:L...
高斯-牛顿算法
最新发布
Thomas会写字
08-25 5861
指因变量与自变量之间的关系不是线性的关系，比如平方关系、对数关系、指数关系、三角函数关系等等。对于此类方程，求解n元实函数f在整个n维向量空间Rn上的最优值点往往很难得到精确解，经常需要求近似解问题。求解该最优化问题的方法大多是逐次一维搜索的迭代算法，基本思想是在一个近似点处选定一个有利于搜索方向，沿这个方向进行一维搜索，得到新的近似点。如此反复迭代，知道满足预定的精度要求为止。需要用目标函数的到函数，又称最速下降法，是早期的解析法，收敛速度较慢收敛速度快，但不稳定，计算也较困难。
Levenberg-Marquardt（列文伯格-马夸尔特）算法
Rouen的专栏
11-17 4万+
 什么是最优化？ Levenberg-Marquardt算法是最优化算法中的一种。最优化是寻找使得函数值最小的参数向量。它的应用领域非常广泛，如：经济学、管理优化、网络分析 、最优设计、机械或电子设计等等。 根据求导数的方法，可分为2大类。第一类，若f具有解析函数形式，知道x后求导数速度快。第二类，使用数值差分来求导数。根据使用模型不同，分为非约束最优化、约束最优化、最小二乘最优化。
牛顿法和高斯牛顿法对比
zxnzjccmily的博客
04-14 4228
非线性优化
LM(列文伯格-马夸尔特)方法的matlab实现代码
08-04
实现较为粗略的列文伯格-马夸尔特方法代码实现，因为matlab代码简单，很容易修改参数和进行变种。配合https://blog.csdn.net/Pengcode/article/details/107783834进行LM研究将会更加合理。
牛顿法，高斯牛顿法以及L-M法的详细推导
07-22
最后，L-M法，或称列文贝格-马夸特（Levenberg-Marquardt）法，是一种结合了牛顿法和梯度下降法的算法。它特别适用于最小二乘问题，能够在牛顿法和梯度下降法之间平滑切换，根据优化过程中的情况自动调节步长。L-M法...
一种基于列文伯格-马克夸特的高精度荧光寿命计算成像方法
02-23
介绍了一种用于荧光寿命图像数据分析的高精度列文伯格-马克夸特(LM)迭代算法。该算法的性能经过标准荧光寿命试剂以及生物图像的算法验证。该算法适用于不同的荧光衰减模型，相对于普通的非线性最小二乘估计方法具有...
Model_weibo_matlab_Levenberg-Marquardt_
10-01
《列文伯格-马夸尔特法在MATLAB中的应用》 在计算机科学和工程领域，数值优化是解决各种复杂问题的关键技术之一。其中，列文伯格-马夸尔特(Levenberg-Marquardt, LM)法是一种在非线性最小二乘问题中广泛应用的迭代...
Gauss-Newton算法学习
Where there is life, there is hope
06-08 6万+
Gauss-Newton算法是解决非线性最优问题的常见算法之一，最近研读DPPTAM开源项目代码，又碰到了，索性深入看下。本次讲解内容如下：基本数学名词识记牛顿法推导、算法步骤、计算实例高斯牛顿法推导(如何从牛顿法派生)、算法步骤、编程实例高斯牛顿法优劣总结一、基本概念定义1.非线性方程定义及最优化方法简述   指因变量与自变量之间的关系不是线性的关系，比如平方关系、对数关系、指数关系、三角函数关
高斯牛顿(Gauss Newton)、列文伯格-马夸尔特(Levenberg-Marquardt)最优化算法与VSLAM
weixin_30463341的博客
07-11 1356
转载请说明出处：http://blog.csdn.net/zhubaohua_bupt/article/details/74973347 在VSLAM优化部分，我们多次谈到，构建一个关于待优化位姿的误差函数 （直接法：灰度误差 ；特征点法：重投影误差）， 当待优化的位姿使这个误差函数最小时(当SLAM运动不是太剧烈时，误差函数满足单峰性)，认为此时位姿最精确。 如果这个误...
非线性优化知识
lyyiangang的博客
07-09 274
牛顿法，高斯牛顿法等优化方法
Levenberg-Marquardt(LM算法)
热门推荐
Ontheway的博客
03-30 7万+
 转自: 翠翠的博客 什么是最优化，可分为几大类？ 答：Levenberg-Marquardt算法是最优化算法中的一种。最优化是寻找使得函数值最小的参数向量。它的应用领域非常广泛，如：经济学、管理优化、网络分析、最优设计、机械或电子设计等等。 根据求导数的方法，可分为2大类。第一类，若f具有解析函数形式，知道x后求导数速度快。第二类，使用数值差分来求导数。 根据 使用模型不同
SLAM之路－列文伯格马夸尓特法Cpp实现(元素视角)
DavidWang
09-01 570
版权声明：Davidwang原创文章，严禁用于任何商业途径，授权后方可转载。从高斯牛顿法可知，由于使用$J(x)J^T(x)$近似了二阶导数H矩阵，导致最后的矩阵不一定为正定矩阵，所以可能会导致方程无解。列文伯格马夸尓特法针对这种情况进行了改进，即对$J(x)J^T(x)$矩阵进行改造，添加了一个参数值，保证最后得到的矩阵为正定矩阵，即增量方程变为
机器学习训练算法十(列文伯格-马夸尔特法(LM 法))
黎明鱼儿
01-09 3439
本文详细介绍了列文伯格-马夸尔特算法（LM算法），这是一种用于解决非线性最小二乘问题的优化算法。文章从算法的介绍、数学原理、阻尼因子更新策略、列文伯格方法与马夸尔特方法的区别，到Matlab程序实现，全面阐述了LM算法的理论和应用。LM算法结合了高斯牛顿法的快速局部收敛性和梯度下降法的全局搜索能力，通过引入阻尼因子实现算法的鲁棒性。
SLAM专题（6）-- 非线性优化
Techblog of HaoWANG
11-10 1221
目录 非线性最小二乘问题 （1）一阶和二阶梯度法 （2）高斯牛顿法 （3）列文伯格-马夸尔特方法（Levenberg-Marquadt法） 非线性优化小结： 实践： 1.Ceres库(谷歌)简介 ceres曲线拟合实例 代码 结果 2.g20库(基于图优化)简介 g20步骤： 总结： 非线性最小二乘问题 因为cost function f(Xn)非线性non...
非线性最小二乘
weixin_62705892的博客
09-23 1390
非线性最小二乘
slam 基础知识整理之- 最小二乘问题的引出与求解方法
学之知之的博客
05-24 763
目录 1、最小二乘引出 2、线性最小二乘 及 求解方法 3、非线性最小二乘​编辑 3.1、求解思路 3.2、常用四种方法 3.3、四种方法总结 4、参考链接 在SLAM的过程中，我们可以构建机器人状态过程。通过对其概率的计算，最终将问题转化为了求最大似然估计的问题。 1、最小二乘引出 2、线性最小二乘 及 求解方法 3、非线性最小二乘 3.1、求解思路 3.2、常用四种方法 ...
Dogleg是什么？他与高速牛顿法和列文伯格-马夸尔特方法有什么异同？
06-06
与高速牛顿法和列文伯格-马夸尔特方法相比，Dogleg算法使用了一个更加复杂的步长策略，以提高算法的效率。 在高速牛顿法中，每次迭代都需要求解一个Hessian矩阵的逆，这个过程既耗时又容易出现数值问题。而在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值