最小二乘问题的四种解法——牛顿法，梯度下降法，高斯牛顿法和列文伯格-马夸特法的区别和联系

• 第1部分介绍最小二乘的基础流程；
• 第2部分介绍牛顿法；
• 第3部分介绍梯度下降法；
• 第4部分介绍高斯牛顿法；
• 第5部分介绍列文伯格-马夸特法；
• 第6部分介绍几种方法的联系。

1、最小二乘

我们想要求解的问题是SLAM过程中的最大似然估计问题。由于最大似然估计问题可以转换为最小二乘问题，所以也就是最小二乘的求解问题。

我们假设目标函数为  ，误差函数为  ，则其最小二乘可以表示为:

那么如何求解这个问题呢？

常规的思路就是对目标函数  进行求导，当其导数为0的时候，求  的最优解，最终求得极值，这里需要注意导数为0的点，不一定就是极值点，可能会是鞍点。

然而，有些时候，若目标函数  的不是很容易进行求导，这个时候就需要使用一些迭代的方法，来使得目标函数  下降，这样就可以逐步迭代，求得最小值了。整个的迭代流程如下所示：

因此，上述问题，就变成了不断寻找下降增量  的问题。

为了方便求解，我们只需要关心误差函数  在迭代值处的局部性质，而不用考虑  在迭代值处的全局性质，这种方法在最优化，机器学习领域使用的非常广泛。

2、牛顿法

说到优化方法，那自然不能少了最基本的牛顿法。牛顿法在本科的时候大家应该都学过，这里进行一下回顾：

首先定义一个实变量  ，和其单变量函数  ，函数的一阶导数记为  ，二阶导数记为  [2]。

那么首先看一个牛顿法最常用的场景------求根：

2.1、一元函数求根：

假设有根的近似解  ，则满足假设且更接近根的值为：

以此类推，可以得到：

细节流程刻意参考下图：

因此，根据上面的流程，可以逐步求得  的根。

我们假设当前的近似解为  ，那么迭代之后的下一个解，列出当前的切线方程为：

设定其在  轴的截距为  ，将  代入方程，可以得到： 

即： 

因此，我们得到了在函数  上求解  的方法。

2.2、求函数的极值：

我们在前面知道了求解函数的根的方法，那么和函数的极值有什么关系呢？我们知道函数的极值的必要条件是其一阶微分等于0。那么求解微分方程为0时候的值，从而函数的极值了。

为了能够方便理解整个流程，我们还是拿一元函数  来举例。

我们首先对其在  处进行二阶泰勒展开：

其中，由于泰勒展开的特性，后面  部分不予考虑，我们只考虑前面展开部分的极值问题：

上面的式子是一个一元二次函数，那么其极值就是一阶导数为0的时候，我们可以先微分：

令  ，则此时的  就是极值（为了方便说明，暂不考虑鞍点的情况）。

故 

以此类推，可以得到迭代公式：

根据这个方法就可以不断的迭代下去直到收敛，最终找到极值了。

如果是多元的情况，则一阶导数  被叫做梯度，也称之为雅可比矩阵  [3]（这里不太严谨。严格来说，矩阵的梯度为一阶导的转置，函数的梯度为一阶导，这里并没有进行详细的区分），二阶导数矩阵  ，也被叫做海塞矩阵  [4]。如果是收敛的话，  ，则式子可以转化为：

也就是说：

这样，就可以求出能够取得函数  的极值点，继而算出函数  的极值。

由于牛顿法需要算二阶导数，如果高阶的话，需要算海塞矩阵，这里是有三个缺陷：

• 要求给定的方程需要二阶可导
• 非凸函数的海森矩阵不一定有逆
• 数据较大的时候，海塞矩阵的计算量偏大

因此，需要思考别的方法来进行最小二乘问题的优化和求解。

3、梯度下降法

为了能够更好的进行最值问题的优化求解，我们可以使用高斯牛顿法（GN）和列文伯格-马夸特法（LM）。

再介绍上面两个方法之前，我们首先介绍一下梯度下降法

梯度下降是用于找到可微函数的局部最小值的一阶迭代优化算法。为了使用梯度下降找到函数的局部最小值，我们采取与该数在当前点的梯度（或近似梯度）的负值成比例的步骤。

梯度下降法是基于以下的观测原理而来的：

如果实值函数  在点  处可微且有定义，那么函数  在点  处，沿着梯度的反方向 下降的最快。

因此，假设有个点  ，满足：

那么我们就可以得到：

通过这种方法，就可以找到极小值。

因此，得到迭代公式：

其中，  是我们人为设定的参数，通过迭代，就可以得到极值。

梯度下降法每次都以梯度的反方向下降，所以，有可能会容易走出锯齿路线，从而增加迭代次数。

4、高斯牛顿法

如果代入到最小二乘问题中，牛顿法和梯度下降法都是针对目标函数  来进行求解的，这样，就不可避免的需要求得海塞矩阵  ，所以，为了避免这个问题，我们选取了误差函数 来进行优化求解：

那么，我们从上面的迭代步骤2中可以看到：

那么，我们对  进行一阶泰勒展开。

我们需要求  使得上面的式子  有最小值，所以，我们可以得到最小二乘问题为：

为了求极值，对其求导：

故，对其求导可以得到：

则，此时可以转化为线性求解问题：

令定义为  ，令  定义为  ，则此时变为了：

这样，就可以优化求解了。上面的最小二乘的优化步骤就可以变为：

相比较于传统的最小二乘求解方法，只更改了两个步骤。该方法的优点和缺点如下：

优点：

• 避免了求海塞矩阵，大大减少了计算量。

缺点：

• 为了求解  ，需要  矩阵可逆，但是实际上  只有半正定性，所以，当为奇异矩阵的时候，稳定性较差，算法不收敛。
• 如果求出来的步长  太大，会导致其局部近似不精确，严重的时候，可能无法保证迭代收敛。
• 容易和梯度下降法一样，陷入锯齿状，导致迭代次数较长。

不过，为了能够更好的进行最小二乘问题的求解，我们可以使用列文伯格-马夸特法(LM)来进行求解。

5、列文伯格-马夸特法

该方法是在高斯牛顿法的基础上进行的改进，基本的思路和原理和高斯牛顿法一样。

在高斯牛顿法的缺点中，可以看到，有一点使容易进入锯齿状，导致迭代的次数较长。所以，为了避免其步长过大导致的问题，该方法提出了信赖区域，设定一个区域。使得步长能够受到控制

在更新迭代的过程中，为了判定近似值的好坏，我们设定了一个评判指标：

这个指标就是我们的近似指标，可以看到其分为以下几种情况：

•  接近1，近似是好的，不需要更改；
•  太小，则实际减少的值小于近似减少的值，近似较大，需要缩小近似的范围；
•  太大，则实际减少的值大于近似减少的值，近似较小，需要扩大近似的范围。

这样的话，就可以动态调整步长了。

通过近似指标，我们可以设定信赖区域的大小。当没有接近我们设定的阈值，则不断调整动态区域，直到找到好的近似结果。

当找到符合要求的近似结果后，就可以进行后续正常的迭代更新了。

因此，使用该信赖区域后，可以更新算法流程：

至于增量方程的获取，可以通过拉格朗日函数来求解：

构建拉格朗日函数，  是系数因子：

这样的话，化简后求导就可以得到：

我们化简后得到：

在本文中，我们令  ,。在实际使用中，通常用  来代替  。所以，公式就变为：

这样，就可以得到对应的增量方程了。

代入算法流程中，最终就可以优化得到最小二乘问题的极小值了。

6、几种方法的联系

我们已经知晓了四种优化的方法，分别是：

• 牛顿法： 
• 梯度下降法： 
• 高斯牛顿法： 
• 列文伯格-马夸特法： 

其实，这四种方法在最小二乘的问题求解中，也是有着联系的。

我们设定最小二乘问题为：

根据针对求解的是目标函数还是误差函数，可以将问题进行分类：

6.1 针对目标函数  优化

对于目标函数 进行一阶泰勒展开：

此时，此时变成求最小值的问题，则：

故，对其求最小值，可以进行求一阶导数为0：

可以看到，如果增加一个步长  ， 此时的方法就是梯度下降法。

如果对目标函数  其进行二阶泰勒展开：

则，此时的增量方程为最小二乘问题：

则，为了求其最小值，对  进行求导：

则此时的方法为牛顿法。

所以，如果从目标函数  入手的话，梯度下降法和牛顿法就是其一阶泰勒展开和二阶泰勒展开的求解方法。

6.2 针对误差函数  优化

上面正文部分的4和5，就是对误差函数的优化，可以得到两种方法：高斯牛顿法和列文伯格-马夸特法。

其中，列文伯格-马夸特法是在高斯牛顿法的基础上得来的。他们之间的联系，主要取决于参数  ：

•  较大的时候，公式变为：  ，此时为梯度下降法
•  较小的时候，公式变为：  ， 此时为高斯牛顿法。

所以，  法可以在一定程度上避免线性方程组的系数矩阵的非奇异和病态的问题，从而得到更精准，更稳定的增量  。

通过上面内容，我们知道了牛顿法，梯度下降法，高斯牛顿法和列文伯格-马夸特法的区别和联系了。

不管是什么方法，初始参数的选取很重要，给一个好的参数，可以减少迭代次数，更快的收敛，从而减少很多的计算量。

在实际的使用中，可以根据具体的情况来最终决定，到底要使用那种方法来进行优化求解。