线性/非线性最小二乘 与 牛顿/高斯牛顿/LM 原理及算法

最小二乘分为线性最小二乘非线性最小二乘

最小二乘目标函数都是min ||f(x)||2

  • 若f(x) = ax + b,就是线性最小二乘;
  • 若f(x) = ax2 + b / ax2 + bx 之类的,就是非线性最小二乘;

1. 求解线性最小二乘

【参考】

2. 求解非线性最小二乘

需要用到牛顿法,高斯牛顿法,或者LM法
目标函数都是min F(x) = min ||f(x)||2
求解的时候需要求解的是f(x)的最小值,其实求解的就是f(x)'=0的地方

(1) 牛顿法/高斯梯度下降

牛顿法是将f(x)进行二阶泰勒展开: f(x)=f(xk)+f’(xk)(x-xk)+1/2 f’‘(xk)(x-xk)2
因为求解的其实是上式的最小值,也就是求解上式导数为0的值
核心迭代等式:xk+1 = xk - f’(xk)/f’'(xk)
其中,一阶导f’(xk)可以看成雅可比矩阵J,二阶导f’'(xk)可以看成海森矩阵H

算法

  1. 给定初值x0
  2. 对于第k次迭代,求出一阶导f’(xk)和二阶导f’'(xk)
  3. 如果f’(xk)足够小则停止;否则xk+1=xk - f’(xk)/f’'(xk),返回2

(2) 高斯牛顿法

这里的f(x)代表的是目标函数F(x)
是将f(x)进行一阶泰勒展开:f(x+dx) = f(x) + J*dx
取得最小值的条件也就是 f(x) + J * dx这个式子对dx的导数为0,
可以求解得到: JTJ * dx = - J * f(x) ,可以简化为 H dx = g
刚好利用JTJ代替H,减少H计算量

算法

求解等式为 JTJ * dx = - J * f(x),即增量方程,这里的dx也就是每次需要寻找的变化量

  1. 给定初值x0
  2. 对于第k次迭代,求出雅可比J(xk) 和f(xk)
  3. 将以上两值代入,利用方程H dx = g,求解dx
  4. 如果dx足够小则停止,否则xk+1=xk+dx,返回2

(3) LM法

高斯牛顿本质求解的是xk+1 = xk - H-1 * J(xk) * f(xk) 但是H如果非正定,那 H-1不存在,因此将其加上单位矩阵结局正定问题 :(H + kI)dx = g

计算信赖区间 ρ请添加图片描述
算法

求解等式为 (JTJ+ μI) dx = -J f(x),其中J = J(xk),f(x) = f(xk)

  1. 给定初值x0
  2. 对于第k次迭代,求出雅可比J(xk) 和f(xk)
  3. 计算ρ,若 ρ > 3/4,则 μ = 2μ;
        若 ρ < 1/4,则 μ = 0.5μ;
  4. 将J(xk) ,f(xk)和 μ代入,利用方程 (H + μI) dx = g,求解dx
  5. 如果dx足够小则停止,否则xk+1=xk+dx,返回2

参考
https://zhuanlan.zhihu.com/p/556170185?utm_id=0
https://blog.csdn.net/weixin_43763292/article/details/128060801
https://blog.csdn.net/weixin_41869763/article/details/103603089

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值