视觉SLAM十四讲学习笔记-非线性优化的非线性最小二乘问题

视觉SLAM十四讲学习笔记-非线性优化的非线性最小二乘问题

附赠自动驾驶最全的学习资料和量产经验：链接

6.2 非线性最小二乘

考虑一个最小二乘问题：

其中，自变量x ∈ Rn，f是任意标量非线性函数 f(x) : Rn→ R。注意这里的系数1/2是无关紧要的。如何求解这样一个优化问题：如果 f 是个数学形式上很简单的函数，那么该问题可以用解析形式来求。令目标函数的导数为零，然后求解x的最优值，就和求二元函数的极值一样：

解此方程，就得到了导数为零处的极值。可能是极大、极小或鞍点处的值，只要逐个比较函数值大小即可。如果 f 为简单的线性函数，那么这个问题就是简单的线性最小二乘问题，但是有些导函数形式复杂，使得该方程不容易求解。求解这个方程需要知道关于目标函数的全局性质，而通常这是不大可能的。对于不方便直接求解的最小二乘问题，可以用迭代的方式，从一个初始值出发，不断地更新当前的优化变量，使目标函数下降。具体步骤可列写如下：

1. 给定某个初始值x0。

2. 对于第 k 次迭代，寻找一个增量 ∆x_k_，使得

达到极小值。

3. 若 ∆xk 足够小，则停止。

4. 否则，令x(k+1) = xk + ∆xk，返回第 2 步。

这让求解导函数为零的问题变成了一个不断寻找下降增量 ∆xk 的问题。由于可以对 f 进行线性化，增量的计算将简单很多。当函数下降直到增量非常小的时候，就认为算法收敛，目标函数达到了一个极小值。在这个过程中，问题在于如何找到每次迭代点的增量，而这是一个局部的问题，只需要关心 *f* 在迭代值处的局部性质而非全局性质。这类方法在最优化、机器学习等领域应用非常广泛。

下面是如何寻找这个增量 ∆xk的方法。

6.2.1 一阶和二阶梯度法</