文献精读——自动曝光视频的实时视觉里程计和SLAM系统的在线光度校准

Online Photometric Calibration of Auto Exposure Video fot Realtime Visual Odometry and SLAM

1. Abstract
   近年来，基于直接法的视觉里程计和SLAM算法在精度方面表现出令人惊奇的水平。然而为了获得具有竞争性的结果，它们需要相机的光度校准。因此，相应的算法不能直接用于普通摄像机或者由未知相机获得的视频序列。本文提出了一种能够处理自动曝光视频序列的在线光度校准方法，能够从连续帧中恢复曝光时间，相机的响应函数，由渐晕引起的传感器辐照度衰减因子。利用鲁棒的增益KLT特征跟踪获得点的对应关系，并且作为非线性优化框架的输入。实验表明，我们的方法可以可靠地校准任意视频序列，进一步证明，我们的校准可以提高最先进的直接视觉里程表方法的性能，实时在线校准光度参数。

2. Introduction and related work
   此部分主要介绍了现有的一些光度校准方法，分析了他们的缺点，从而引出本文提出的方法的优势所在。

3. Photometric image formation process
   图像形成过程建模：O=f(eV(x)L)

4. Tracking frontend
   为了获得光度校准，必须选择一系列的场景点，它们在图像中的投影点必须可见并且能够估计出来。使用文献10提出来的方法，共同优化跟踪更新和帧之间的增益比，这可以使用schur补码有效地完成。为了稳定的恢复渐晕，从一幅图像中对特征进行均匀采样使覆盖整个径向范围。因此，把图像分成一定数量的网格单元，从所有单元中一共提取N个特征点。当特征丢失时，从当前提取了较少特征的网格中重新提取特征。因为场景点不能长时间的稳定跟踪，将会严重影响估计结果，将向前向后误差作为评估较差的对应的关系的标准。为了增加被跟踪场景点的数量而不必从图像中提取更多的特征，在被跟踪的特征位置周围提取一个小的图像补丁。这是有益的另一个原因是，为了可靠地跟踪，跟踪的特征通常会位于较大的图像梯度上。因此，一个小的几何跟踪误差将导致图像亮度的巨大差异的对应。提取图像补丁的目的是获得低梯度的对应关系，其图像强度分布对较小的跟踪误差不太敏感。

5. Optimization backend
   注意：当相机的响应函数未知时，估计的参数存在一个指数模糊性。在优化完成后，我们通过约束响应来确定γ的值。
   此部分介绍了优化的误差函数，以及相机的响应函数模型，渐晕模型。第一步先优化响应函数的参数，渐晕函数的参数，曝光时间，然后第二步优化点的辐射度。优化采用离线和在线两种模式进行，离线模式假设获得了所有的输入序列，并且在运行时间上没有强制约束，在线模式下图像是一帧一帧传过来的，并且不能获得下一帧的任何信息。

   离线模式：首先对整个输入的图像序列进行特征跟踪，获得点的对应关系，然后利用误差函数进行优化。对于大的视频序列，为了加速参数优化过程，我们将输入的视频序列分成固定大小的优化块，然后独立的优化各个块。由于不知道曝光时间的尺度，我们让这些块重叠一定数量的帧，并在这些重叠区域内使用最小二乘度量来对齐曝光。在算法首次收敛后，我们通过去除产生最大误差的固定百分比的残差来执行异常值剔除。然后再次运行该算法以更好地适应剩余的入口。

   在线模式：对于在线模式，图像的光度校准应该尽可能快。因此，收集大量的图像来联合优化光度参数是不可行的。然而，为了稳定的估计渐晕和相机响应函数，需要利用多个帧来进行校准。因为曝光时间可以从帧与帧之间估计出来，我们建议将曝光时间的估计从其他参数中独立开来，对一个即将到来的帧，快速的估计出他的曝光时间。系统保存当前的渐晕和响应函数的估计状态，当更多帧到达时，这些状态会被连续更新。当一个新帧到来的时候，利用当前保存的渐晕和响应函数的估计校正新帧。然后与先前的M帧一起联合优化曝光时间，误差函数见论文式(3)。从式(3)可以看到，误差只与曝光时间和场景点的辐射度有关，固定场景点的辐射度，优化曝光时间就变成了一个可以快速求解的线性优化问题。将跟踪的场景点的图像强度的平均值作为辐射度的初始值。由于根据当前响应和渐晕估计立即校正输入帧，所有光度参数的相对缓慢的联合优化不再构成性能的瓶颈，并且它可以在后台独立执行。因为KLT跟踪和曝光时间的估计能够快速的执行，我们的算法可以做到实时处理。

6. Evaluation
   对所实现的系统在多个数据集上进行评估，其中对于所有序列，跟踪前端在每帧中保持约n=500个活动特征，在每个跟踪特征点周围提取5×5个图像补丁。选择足够大的补丁大小，以避免仅使用高梯度对应进行估计，同时保持计算工作的可行性。非线性优化后端是以单元响应和轻微的虚晃初始化的。场景点的辐射最初被选作其像素强度的算术平均值，标准化为单位间隔[0，1]。从32×32像素的单元构造了用于提取空间均匀特征和检查局部运动一致性的网格。

   在离线校准的情况下，输入序列被分成200帧的优化块，其中每个块与相邻块重叠30帧，以执行曝光时间对齐。对每个试块进行校准，并对结果进行平均。我们发现，通常情况下，场景会在该窗口内提供足够的径向特征移动，以便可靠地校准虚光。如果被跟踪的场景点在被跟踪的窗口中没有表现出大量的径向运动，那么估计结果将被丢弃，因为在这些情况下虚影没有很好的约束。通过平均每个块的结果，可以得到渐晕图和响应函数的最终估计。所有曝光时间最初都设置为1，并进行优化，直到只实现轻微的能量减少。然后我们拒绝20%的残差产生最大的误差，执行另一轮优化直到收敛。

   对于在线校准模式，保持当前最多10帧用于快速的校准曝光时间。为了更新响应函数和渐晕，优化后端使用100个跟踪帧的块，我们只优化块内的每五次曝光时间。这加快了估计过程，是一种有效的方法，因为已经使用线性优化的曝光时间估计对该块中的帧进行了光度校正，并且不再需要将优化后端的曝光时间作为输出。在非线性优化中，采用快速近似的曝光时间作为曝光时间的初始化。我们只对每个传入的数据块执行几轮优化，而不执行异常值拒绝，以进一步加快我们的实现速度。

   我们首先在离线设置中评估我们的算法。该系统在人工生成的ICL-NUIM数据集上运行，在该数据集中应用了光度干扰响应、虚光和曝光。图4显示了参数的样本恢复，其中选择了指数模糊度的未知常数，以优化相对于最小二乘误差度量的对地真值的对齐。由于只能恢复曝光率，而不能恢复绝对曝光时间（因为辐射的物理尺度未知），因此曝光时间通过将其乘以一个常数因子来进行额外校准。我们还显示了每轮后能量的逐步减少，黑线表示异常值拒绝后的能量损失。

   此外，我们还根据TUM Mono VO数据集提供的序列运行了我们的系统，该数据集的全光度地面真值可用。它利用两个不同的摄像头，具有不同的响应和虚光功能，并为每帧的曝光时间提供真实的地面。图8显示了序列50的离线校准示例，显示了（a）中的所有校准虚光函数和（b）中的响应，其中每条曲线响应一个校准块。并给出了总体平均估计值和地面真值曲线。估计的曝光时间会一个接一个地追加，并显示在子图（c）中。使用与ICL-NUIM数据集相同的对齐策略。请注意，对于某些优化块，曝光时间变化不大，但由于存在虚光，校准仍然可以可靠地执行。

   接下来是在DSO上运行一个TUM mono 数据集序列，并且分别在不进行光度校准和进行此论文提出的在线光度校准两种情况下的对齐误差的比较（对齐误差：此benchmark在描述TUM mono数据集的论文中建立，对齐误差的计算还需进一步研究。）然后在EuRoc数据集上的difficult数据集上运行，验证提出的在线光度校准方法的性能。

7. Conclusion
   我们提出了一个为基于直接法的视觉里程计和SLAM提供实时在线校准自动曝光视频的新系统，能够估计出相机的响应函数、渐晕、曝光时间。实验表明，提出的算法能够精确的、鲁棒的校准任意视频序列，并且能够显著提高基于直接法的视觉里程计的性能，例如DSO。在未来的工作中，我们计划通过将所提出的在线优化集成到现有的直接方法中来替代KLT跟踪，在这种方法中，基于亮度恒定性假设获得对应关系，以共同优化光度参数、相机姿态和深度值。