APAP论文阅读笔记

论文和代码可以在这个网址找到：https://cs.adelaide.edu.au/~tjchin/apap/

一、全文翻译

题目

使用移动DLT进行尽可能投影的图像拼接

摘要

我们专注于图像拼接的任务，通常通过估计投影扭曲来解决这一问题——当场景是平面的或当视图完全因旋转而不同时，该模型是合理的。这样的条件在实践中很容易被违反，这就产生了使用重影人工制品的缝合结果，这就需要使用去重影算法。为此，我们提出了尽可能投影的扭曲，这些扭曲的目标是全局投影，但允许局部非投影偏差来解释违反假定成像条件的情况。基于一种称为移动直接线性变换（Moving DLT）的新估计技术，我们的方法无缝地桥接了与投影模型不一致的图像区域。结果是高度精确的图像拼接，显著减少了重影效果，从而降低了对后期重影的依赖性。

一、介绍

一位著名统计学家的这一著名建议在许多科学领域都适用，包括计算机视觉。在本文中，我们主要关注投影估计中的模型缺陷。更具体地，我们考虑的情况下，投影模型的有利假设没有完全满足的数据，从而从根本上限制可实现的拟合优度。
我们专注于图像拼接，尽管我们希望我们的方法能更广泛地应用，例如在视频稳定。图像拼接通常通过估计二维投影扭曲来解决，以使图像对齐。通过3×3同形图参数化，如果场景是平面的，或者如果视图纯粹因旋转而不同，则2D投影扭曲是正确的[17]。实际上，在临时用户手中，这些条件不可能完全满足。因此，投影模型无法充分描述所需的扭曲，从而导致错位或重影效果。注意，此类误差是由于模型中的固有缺陷，而不仅仅是噪声干扰；图1（a）示出了。
许多商业缝合软件，如Autostitch和Photosynth（特别是panorama工具），使用投影扭曲，可以说是因为它们的简单性。当不满足必要的成像条件时，它们的成功依赖于去宿主算法来去除不需要的人工制品[17]。在这里，我们提供了一种不同的策略：我们不依赖投影模型（这通常是不充分的），然后修复由此产生的错误，而是根据数据调整模型以改进拟合。我们通过我们的小说来实现这一点，作为可能的扭曲，即。E以全局投影为目标，但允许局部偏差来解释模型不足的扭曲；图1（c）示出了。我们的方法大大减少了对准误差，但能够保持整体几何合理性。图3示出了示例结果。
请注意，我们的目标不是对任意相机运动执行图像拼接（例如[12]). 相反，我们的目标是调整投影模型以尽可能精确地拟合数据。我们的目标也不是放弃去托管算法，如果存在严重的错位或移动对象，去托管算法仍然很有用。然而，我们认为一个好的初始针迹是非常可取的，因为它对随后的脱胶和后处理的要求要低得多；例如，图3中的结果是使用简单的像素平均值合成的，几乎没有明显的重影。
更重要的是，我们基于一种称为移动DLT的新估计技术来学习所提出的warp。它的灵感来自用于图像处理的移动最小二乘（MLS）方法[2]，但我们的方法采用投影正则化，而不是刚性或仿射正则化。这对于确保扭曲正确外推到图像重叠（插值）区域之外以保持感知真实性至关重要。图1（b）和1（c）来自移动DLT和MLS的对比度翘曲。能够灵活地插值以最小化重影，并准确地外推以保持几何一致性是图像拼接的重要品质。
与我们的方法更接近的是[6]中的曲面近似工作，其中使用代数MLS将球体拟合到点云上。我们的工作不同之处在于我们拟合的是射影函数而不是几何曲面。此外，函数外推是[6]中未强调的一个关键方面。
论文的其余部分组织如下：第1.1部分调查相关工作，第2和3部分介绍所提出的warp及其用于图像拼接的有效学习。结果见第4节，我们的结论见第5节。

1.1 相关工作

虽然图像拼接的基本原理已经得到了很好的研究（参见[17]中的优秀调查），但如何在数据有噪声或不合作时产生良好的结果仍然是一个有待解决的问题。在我们的论文中，我们将以前的工作分为两组：（1）通过构造更好的对齐函数来减少重影的方法，（2）使用合成、像素选择或混合中的高级方法来减少对齐后的重影的方法。在第二组中，接缝切割[1,3]和泊松混合[13]是有影响的。由于我们的方法属于第一组，我们将在下面回顾这些方法。理想情况下，两组的方法应联合使用，以获得最佳结果。
Shum和Szeliski[15]首先执行光束调整，以优化所有视图的旋转和焦距。对于每个特征，取每个视图的后向投影光线的平均值，随后再次投影到每个视图上，以在2D中生成修改后的特征位置。然后，使用双线性核对剩余配准误差的函数进行建模，并将其用于最终对齐。虽然反投影是一种非常有原则的方法，但它需要相机本身，而这可能是不可用的。
在视频稳定方面，Liu等人[10]提出了内容保留扭曲。给定原始图像帧和目标图像帧之间的匹配特征，通过使用尽可能相似的扭曲[8]扭曲原始图像来合成新视图，该扭曲联合最小化配准误差并保持场景的刚性。该方法还使用单应性对原始图像进行预扭曲，从而有效地产生平滑插值投影扭曲。强加的场景刚性最大限度地减少了平滑视频中可怕的“抖动”效果。然而，正如我们在第4节中所显示的，在图像拼接中&#