非线性优化

一、最大似然估计和最大后验

1.贝叶斯法则：

解决逆向概率问题时提出，即在不知道袋子里球黑白比例的时候，从一个袋子里摸出一个(或几个)球，后根据摸出的球颜色来估计袋子里的球的黑白比例；

其中：

• P(A|B)表示再P(B)发生的情况下P(A)发生的概率；
• P(B|A)称为似然；
• P(A)为A的先验概率，则称P(A)称为先验；
• P(A|B)已知A的情况下B的概率，那么称为A的后验概率；

2.求解最大后验概率：

因为贝叶斯法则分母部分和待估计状态无关，所以求解最大后验概率相当于求解最大似然和先验的乘积；

3.求解最大似然估计：

在我们不知道位姿的情况下，即在没有先验的情况下

求解最大似然估计可以理解为：在什么样的状态下，最多可能产生现在观测到的数据；

二、最小二乘法：

找到一个理论值和观测值的平方和最小的值，即试图找到一条直线或者曲线，最大可能的范围内可以表达当前直线或者曲线的变化

即：

三、求解非线性最小二乘解法

此处引入一个简单的最小二乘问题：

1.梯度下降法：

将目标函数进行泰勒展开：

若为一阶梯度法，可得：

那就不要第二项，此方法叫最速下降法，但是容易走锯齿路线；

若为二阶梯度法，可得：

则：

此方法又叫牛顿法，缺陷是需要算H矩阵，不好算；

2.高斯牛顿法：

只对目标函数进行一阶泰勒展开

当前目标是需要寻找下降矢量，使得最小，为了求，需要解一个最小二乘问题；

展开平方项：

求上式关于的导数，并令其为0：

那么可得：

在此情况下，因为要求解的变量是，那么称它为增量方程，也可也称为高斯牛顿方程；将左边定义为H，右边定义为g；

3.列文伯格-马夸尔特方法：

高斯牛顿法中采用了近似二阶泰勒展开的方法，在展开点附近有较好的效果，所以尝试给增加一个信赖区域，不能让他太大而不准确，这种方法也被称为信赖区域法；

用拉格朗日乘子转化为无约束优化问题：

展开后得到增量的线性方程：

将其简化：