一、最大似然估计和最大后验
1.贝叶斯法则:
解决逆向概率问题时提出,即在不知道袋子里球黑白比例的时候,从一个袋子里摸出一个(或几个)球,后根据摸出的球颜色来估计袋子里的球的黑白比例;
其中:
- P(A|B)表示再P(B)发生的情况下P(A)发生的概率;
- P(B|A)称为似然;
- P(A)为A的先验概率,则称P(A)称为先验;
- P(A|B)已知A的情况下B的概率,那么称为A的后验概率;
2.求解最大后验概率:
因为贝叶斯法则分母部分和待估计状态无关,所以求解最大后验概率相当于求解最大似然和先验的乘积;
3.求解最大似然估计:
在我们不知道位姿的情况下,即在没有先验的情况下
求解最大似然估计可以理解为:在什么样的状态下,最多可能产生现在观测到的数据;
二、最小二乘法:
找到一个理论值和观测值的平方和最小的值,即试图找到一条直线或者曲线,最大可能的范围内可以表达当前直线或者曲线的变化
即:
三、求解非线性最小二乘解法
此处引入一个简单的最小二乘问题:
1.梯度下降法:
将目标函数进行泰勒展开:
若为一阶梯度法,可得:
那就不要第二项,此方法叫最速下降法,但是容易走锯齿路线;
若为二阶梯度法,可得:
则:
此方法又叫牛顿法,缺陷是需要算H矩阵,不好算;
2.高斯牛顿法:
只对目标函数进行一阶泰勒展开
当前目标是需要寻找下降矢量,使得
最小,为了求
,需要解一个最小二乘问题;
展开平方项:
求上式关于的导数,并令其为0:
那么可得:
在此情况下,因为要求解的变量是,那么称它为增量方程,也可也称为高斯牛顿方程;将左边定义为H,右边定义为g;
3.列文伯格-马夸尔特方法:
高斯牛顿法中采用了近似二阶泰勒展开的方法,在展开点附近有较好的效果,所以尝试给增加一个信赖区域,不能让他太大而不准确,这种方法也被称为信赖区域法;
用拉格朗日乘子转化为无约束优化问题:
展开后得到增量的线性方程:
将其简化: