基于图像的多视角立体视觉三维重建（五）——捆绑调整之非线性优化算法

摘要

  在三维重建过程中,得到三维点与相机内外参数之后,需要同时对三维点位置和相机参数进行非线性优化,得到更精确的相机参数与三维点坐标数据,常用的非线性优化方法有:梯度下降法,牛顿法,高斯牛顿法,LM算法

优化问题描述:

捆绑调整是一个无约束非线性最小优化问题

前提知识

梯度下降法

梯度下降法是在当前点进行一阶展开,在展开点处进行局部平面拟合

其中$▽g({\theta }_t)=J({\theta }_t)$,则有$$\delta \theta =-\lambda J({\theta }_t)$$
式中$\delta \theta$为参数$\theta$的偏移量, $\lambda$为学习率, $J({\theta }_t)$为雅可比矩阵.

牛顿法

高斯牛顿法

  牛顿法在每次迭代都需计算Hessien矩阵的逆矩阵,计算量大,高斯牛顿法使用雅可比矩阵来计算近似Hessien矩阵,减少计算量(只有最小二乘问题才能使用高斯牛顿法)
优化目标简单记为：
$$\underset{\theta }{\min }g(\theta )=\sum _{i=0}^n||\widehat{u_i}-{\mu }_{{\theta }_i}|{|}^2$$
  其中$\widehat{u_i}是像平面上图像特征匹配的点坐标$，${\mu }_{{\theta }_i}$表示投影到像平面的点坐标，投影点坐标参数${\theta }_i$决定, ${\theta }_i$包含三维点坐标和相机参数。

记$$r_i={\mu }_{{\theta }_i}-\widehat{u_i}$$
记$r=[r_1,r_2...r_n{]}^T$
则有：$$g(\theta )=r^{T}r$$
对上式两边对当前的参数$\theta$求偏导：
$$\begin{gathered} ▽g(\theta )=[\frac{\partial g}{\partial {\theta }_1},\frac{\partial g}{\partial {\theta }_2}...\frac{\partial g}{\partial {\theta }_m}{]}^T \\ . \\ \frac{\partial g}{\partial {\theta }_j}=2\sum _{i=0}^m{r}_i\frac{\partial r_i}{\partial {\theta }_j} \end{gathered}$$

则上式可以转换成雅可比矩阵的形式：
$$▽g(\theta )=2J^{T}r$$
由雅克比矩阵求Hession矩阵：

上式表明Hession矩阵可以用J矩阵来近似

由牛顿法的表达式：

将$H=2(J^{T}J+O)$和$▽g(\theta )=2J^{T}r$代入得：
$$\delta \theta =-(J^{T}J+O{)}^{-1}{J}^{T}r$$
一般而言，O表达式中的$r_{ij}$≈0，可以将O近似舍弃得：
$$\delta \theta =-(J^{T}J{)}^{-1}{J}^{T}r$$
由于$J^{T}J$有可能是非正定，所以要引入Levenberg-Marquart修正

LM算法特点与优势

  LM算法是一种“信赖阈”的方法,当收敛速度较快时,增大信赖域,使算法趋向于牛顿法;当收敛速度较慢时,减小信赖域,使算法趋向于最速梯度法

  LM针对高斯牛顿算法的改进:
    1.求解$\delta \theta$时,对其设置了信赖域
    2.求得$\delta \theta$之后对其近似效果进行量化,并根据量化结果对信赖域进行调整,从而重新计算增量$\delta \theta$,直到近似效果量化结果达到了阈值

LM修订牛顿法：
  其中${\alpha }_k$可以视为线性搜索的步长，后面的代表搜索的方向，可以设置信赖域，在信赖域内，可以增大步长，信赖域外可以减小步长。
$${\theta }_k={\theta }_{k+1}-{\alpha }_{k}H({\theta }_{k-1}{)}^{-1}▽g({\theta }_{k-1})$$
  Hession矩阵可能为非正定矩阵，需要进行修正，对Hession矩阵加上$\mu I$即：
$${\theta }_k={\theta }_{k+1}-{\alpha }_k(H({\theta }_{k-1})+\mu I{)}^{-1}▽g({\theta }_{k-1})$$
如果$\mu$为0，那就退化为牛顿法，如果$\mu$为∞，则H失去贡献意义，退化成梯度下降法。
将$H=2(J^{T}J+O)$和$▽g(\theta )=2J^{T}r$，$r=\hat{u}-{\mu }_{\theta }$代入得：
$${\theta }_k={\theta }_{k+1}-{\alpha }_k(J^{T}J+\mu I{)}^{-1}{J}^T(\hat{u}-{\mu }_{\theta })$$