本文总结了最小二乘问题的基础概念和求解方法，包括线性最小二乘和非线性最小二乘。线性最小二乘通过矩阵运算求解，而非线性最小二乘则涉及最快下降法、高斯牛顿法、LM阻尼法和Dog-Leg法等迭代求解策略。这些内容在视觉惯性里程计（VIO）等领域的优化中至关重要。
最小二乘问题总结
1.题外话
最近在学习深蓝学院的VIO课程，最小二乘问题的求解作为基础知识，在VIO的优化过程中非常重要。因此在这里对课程内容和查阅的资料做个总结，以便能够加深对最小二乘问题的理解。
2.最小二乘基础概念
最小二乘问题泛指具有如下形式的问题。
m i n f ( x ) = 1 2 ∑ i = 1 m r i 2 ( x ) (1) minf(x) =\frac{1}{2}\displaystyle\sum_{i=1}^{m}r_{i}^2(x) \tag{1} minf(x)=21i=1∑mri2(x)(1)
其中m一般指实例的个数， r i ( x ) r_{i}(x) ri(x)指残差，即预测值与观测值的差， f ( x ) f(x) f(x)称为损失函数（或代价函数，cost function），根据模型的不同有线性模型和非线性模型，分为线性最小二乘和非线性最小二乘。
最小二乘问题的主要思想就是求解未知参数 ，使得预测值与观测值之差（即误差，或者说残差）的平方和达到最小。
最小二乘问题也可以写成如下的向量形式。
令 r ( x ) = ( r 1 ( x ) , r 2 ( x ) , r 3 ( x ) . . . r m ( x ) ) T r(x) = (r_1(x),r_{2}(x),r_{3}(x)...r_{m}(x))^T r(x)=(r1(x),r2(x),r3(x)...rm(x))T，则(1)式可表达为
f ( x ) = 1 2 ∣ ∣ r ( x ) ∣ ∣ 2 (2) f(x) = \frac{1}{2}||r(x)||^2\tag{2} f(x)=21∣∣r(x)∣∣2(2)
3.线性最小二乘问题的求解方法
线性最小二乘求解较为方便。我们假设模型为
y = θ 1 x 1 + θ 2 x 2 + θ 3 x 3 + . . . + θ n x n (3) y= \theta_{1} x_{1}+\theta_{2} x_{2}+\theta_{3} x_{3}+...+\theta_{n} x_{n}\tag{3} y=θ1x1+θ2x2+θ3x3
最低0.47元/天 解锁文章
1203
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
