视觉SLAM十四讲学习笔记-非线性优化的非线性最小二乘问题
附赠自动驾驶最全的学习资料和量产经验:链接
6.2 非线性最小二乘
考虑一个最小二乘问题:
其中,自变量x ∈ Rn,f是任意标量非线性函数 f(x) : Rn→ R。注意这里的系数1/2是无关紧要的。如何求解这样一个优化问题:如果 f 是个数学形式上很简单的函数,那么该问题可以用解析形式来求。令目标函数的导数为零,然后求解x的最优值,就和求二元函数的极值一样:
解此方程,就得到了导数为零处的极值。可能是极大、极小或鞍点处的值,只要逐个比较函数值大小即可。如果 f 为简单的线性函数,那么这个问题就是简单的线性最小二乘问题,但是有些导函数形式复杂,使得该方程不容易求解。求解这个方程需要知道关于目标函数的全局性质,而通常这是不大可能的。对于不方便直接求解的最小二乘问题,可以用迭代的方式,从一个初始值出发,不断地更新当前的优化变量,使目标函数下降。具体步骤可列写如下:
-
给定某个初始值x0。
-
对于第 k 次迭代,寻找一个增量 ∆x_k_,使得
达到极小值。
3. 若 ∆xk 足够小,则停止。
4. 否则,令x(k+1) = xk + ∆xk,返回第 2 步。
这让求解导函数为零的问题变成了一个不断寻找下降增量 ∆xk 的问题。由于可以对 f 进行线性化,增量的计算将简单很多。当函数下降直到增量非常小的时候,就认为算法收敛,目标函数达到了一个极小值。在这个过程中,问题在于如何找到每次迭代点的增量,而这是一个局部的问题,只需要关心 *f* 在迭代值处的局部性质而非全局性质。这类方法在最优化、机器学习等领域应用非常广泛。
下面是如何寻找这个增量 ∆xk的方法。