IEKF-based Visual-Inertial Odometry using Direct Photometric Feedback阅读笔记-光度误差

直接介绍我们最关心的部分：

Multilevel Patches and Photometric Error

4.1 Multilevel Patch Features
每个特征与一个多层次的patch特征相关联，是从图像金字塔上提取的图像块。与传统的特征描述子相比，基于图块的描述子能够计算像素误差，因此能够避免使用重投影误差。将每个像素都考虑在内能够提供更加丰富的环境信息。对于基于最小化重投影误差的方法，其忽视了特征点附近的纹理信息，而且所有的特征点的权重都是相等的，这会引入新的误差。

4.2 Projection Model and linear Warping
给定一个特征点的视线向量$\mu$,根据投影方程可以将该特征点对应的像素坐标计算出来。当相机运动，该特征点对应的像素点也会移动。为了对其对应图块的形变进行建模，我们提出了一个线性warping matrix用于对每个特征进行更新追踪，该做法是同在对特征点位置进行变换的时候连接所有的雅克比矩阵实现的。例如，特征点对应的像素$p_1$,其对应的视线向量为${\mu }_1={\pi }^{-1}(p_1)$，视线的变换模型为${\mu }_2=f({\mu }_1)$，重投影过程为$p_2=\pi ({\mu }_2)$，我们可以得到如下的线性warping矩阵
$$D=\frac{\partial \pi ({\mu }_2)}{\partial {\mu }_2}\frac{f({\mu }_1)}{\partial {\mu }_1}\frac{{\pi }^{-1}(p_1)}{\partial p_1}\in {\mathbb{R}}^{2\times 2}$$
为了防止大的形变和误差累积，图块会经常重新提取。

4.3 像素误差和图块对准

像素误差的计算是通过提取一个估计位置的变形图块然后和当前图块进行逐像素的误差计算。对于一个图像层$l$和像素$p_j$，像素误差可以构造为
$$e_{l,j}(p,P,I,D)=P_l(p_j)-a{I}_l(p{s}_l+D{p}_j)-b$$
其中，$a,b$是对光照变化的仿射模型。与光流法不同，本文的patch对准方法是对金字塔的所有层进行同步的优化，基于高斯牛顿法，如下
$$b(\hat{p}+\delta p,P,I,D)=A(\hat{p},I,D)\delta p+b(\hat{p},P,I,D)$$
其中，$b(\hat{p},P,I,D)$表示所有的误差项之和，$A$代表对应的雅克比，对应的优化方程为
$$A(\hat{p},I,D{)}^{T}A(\hat{p},I,D)\delta p=-A(\hat{p},I,D{)}^{T}b(\hat{p},P,I,D)$$
注意到，金字塔高层的误差项对patch对准校正影响较小，但是其对像素模糊，较差的初始化都具有较高的鲁棒性。