最小二乘问题,,而不是方法

最小二乘是一大类问题,而不是一个简单的方法

适用于:线性(非线性)方程组问题,如果观测带有噪声,我们需要建立最小二乘模型。如果噪声符合高斯分布,即最小二乘问题的解对应于原问题的最大似然解。

如果方程组是线性的(很好将测量值和待估计值分离),我们称问题为线性最小二乘问题,否则称其为非线性最小二乘问题

线性最小二乘问题求解方法:
1)非齐次方程组
AX=b
在这里插入图片描述

2)齐次方程组
AX=0
SVD分解

非线性最小二乘问题求解方法:
在这里插入图片描述
整体能够看的出来,线性的可以直接解公式,非线性的则需要求导,利用迭代求解

例子1:
假设我们要求重力加速度,h=1/2gt^2
我们测了很多组高度和时间,因此这个问题是线性最小二乘问题,可以用正规方程组法

例子2:
假设我们有一个方程有很多未知数,其中未知数有角度,幂指数等,这些未知数我们无法直接拆解出来
这个问题是非线性最小二乘问题,我们用迭代方法,可以选用高斯牛顿法或者LM法
我们需要首先构造观测方程:在观测值和待估参数之间建立的函数关系式。

L为观测值,f(x)为函数值,V(x)为观测残差,x为未知参数组成的向量 最小二乘准测为求x^使得观测残差的平方最小
由于LL是恒定的,因此目标函数为
然后利用高斯牛顿法进行迭代求解(这里有个关键问题,你需要对每个变量进行求导,获得雅可比矩阵,但是你手算求导肯定是很难的,可以借助matlab求导)

高斯牛顿
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值