最小二乘问题总结
1.题外话
最近在学习深蓝学院的VIO课程,最小二乘问题的求解作为基础知识,在VIO的优化过程中非常重要。因此在这里对课程内容和查阅的资料做个总结,以便能够加深对最小二乘问题的理解。
2.最小二乘基础概念
最小二乘问题泛指具有如下形式的问题。
m i n f ( x ) = 1 2 ∑ i = 1 m r i 2 ( x ) (1) minf(x) =\frac{1}{2}\displaystyle\sum_{i=1}^{m}r_{i}^2(x) \tag{1} minf(x)=21i=1∑mri2(x)(1)
其中m一般指实例的个数, r i ( x ) r_{i}(x) ri(x)指残差,即预测值与观测值的差, f ( x ) f(x) f(x)称为损失函数(或代价函数,cost function),根据模型的不同有线性模型和非线性模型,分为线性最小二乘和非线性最小二乘。
最小二乘问题的主要思想就是求解未知参数 ,使得预测值与观测值之差(即误差,或者说残差)的平方和达到最小。
最小二乘问题也可以写成如下的向量形式。
令 r ( x ) = ( r 1 ( x ) , r 2 ( x ) , r 3 ( x ) . . . r m ( x ) ) T r(x) = (r_1(x),r_{2}(x),r_{3}(x)...r_{m}(x))^T r(x)=(r1(x),r2(x),r3(x)...rm(x))T,则(1)式可表达为
f ( x ) = 1 2 ∣ ∣ r ( x ) ∣ ∣ 2 (2) f(x) = \frac{1}{2}||r(x)||^2\tag{2} f(x)=21∣∣r(x)∣∣2(2)
3.线性最小二乘问题的求解方法
线性最小二乘求解较为方便。我们假设模型为
y = θ 1 x 1 + θ 2 x 2 + θ 3 x 3 + . . . + θ n x n (3) y= \theta_{1} x_{1}+\theta_{2} x_{2}+\theta_{3} x_{3}+...+\theta_{n} x_{n}\tag{3} y=θ1x1+θ2x2+θ3x3