On the Two-View Geometry of Unsynchronized Cameras论文笔记

蓝色
紫色
红色

On the Two-View Geometry of Unsynchronized Cameras

不同步相机的双视图几何

Code: TwoViewUnsynch

Abstract

研究背景：

  许多计算机视觉应用，例如 人体建模 ，人物跟踪，姿势估计，机器人导航 和3D物体扫描 ，都受益于使用 多摄像头 系统。在 严格控制 的实验室设置中，可以使所有相机 在时间上 同步。然而，当相机可能在 没有同步 的情况下运行时，多相机系统的适用性可以大大扩大。同步有时是不可能的，例如在汽车行业，但即使有可能，使用 异步相机 也可能产生其他好处，例如，降低带宽要求和提高事件检测和运动恢复的时间分辨率。【相机拍摄时是不同步的[一般情况下]，我们可以通过后期来实现同步】

Related Work

  许多视频和/或图像序列同步方法 基于图像内容分析 ，或通过 音轨 同步视频 ，因此其适用性有限。其他方法采用 压缩视频比特率配置文件 和 静止相机闪光灯 。这些方法在 时间变换模型 中有所不同。通常，使用 时移 或 时移与可变帧速率 结合使用。

  许多方法都有类似的基础。在每个视频序列中，使用兴趣点检测器和关联规则 或 2D跟踪器 检测一组 轨迹。轨迹是 跨序列 匹配的。基于RANSAC的算法通常用于 联合或以迭代方式 估计时间和空间变换的参数。在[7]中，RANSAC用于在 序列对中所有轨迹组合的滤波集中 搜索匹配的轨迹对（必须提供外极几何形状）。方法[22] 通过在RANSAC框架中拟合 单个N维线（时间轴）来实现 长度为N的序列的 联合同步。算法 [2] 基于 暂定轨迹匹配 来估计时空变换。

  已经有了使用 穷竭搜索 来寻找H [32] 或 同时估计H/F和时移[33] 的方法。这些方法在 整个空间里 搜索可能的时移。

  与我们最密切相关的两个工作是 [21，20]，它们联合估计了 两视图几何 以及 近似的图像点轨迹 的时移。在[21]中，使用 非线性最小二乘法 估计了F/H以及时移，通过 直线 逼近图像轨迹。该算法由 7pt 算法 [14] 和零时移 初始化。工作[20] 通过估计 帧速率的差异 并使用 样条曲线(splines) 而不是直线来做逼近 来扩展这种方法。上述两个工作只有在给出 好的初始化值时 才能获得 好的结果，例如，在时移小于0.5s且没有严重匹配错误的序列上。

2. 通常，$s_i$和$s_j^{\prime }$之间是没有对应关系的，即 对于 $i=j$，$s_i$和$s_j^{\prime }$并不表示 同一3D点 的投影。
 
4. 尽管假设在 几分之一秒内 已知时移 似乎是合理的，但在实践中，时间戳通常基于 CPU时钟 ，这与 启动延迟 一起可能导致时移以秒为单位。另一方面，时间缩放 更常为人所知，或者可以 精确计算。

在文章的剩下部分，我们假设 $f=f^{\prime }$ 和 初始估计 ${\beta }_0=0$

Solving the equations

Using RANSAC

  RANSAC对于我们的solvers是非常重要的，因为我们的 minimal solvers 对 噪声和外点 很敏感。

  数据中的outliers通常来源于两个方面：
  1. 误匹配和误检测
  2. 点轨迹的非线性

  即使没有因为错误检测而产生严重的异常值，在内插曲线轨迹不直的地方 仍然会存在关于模型的外点。因此，即使我们确定 对应点是精确的，使用RANSAC还是有益的。

  通过使用RANSAC，我们避免了轨迹的那些部分，并选择了 速度近似为直线和线性 的部分。基本上，我们只需要采样 轨迹的8（F）或5（H）部分，其中这个假设帮助获得一个好的模型，即使轨迹的其余部分是高度非线性的。

Real data experiments

Conclution

  本文提出了用于 同时估计 来自 不同步相机 的图像序列之间的 极几何或单应矩阵 和 时移 的求解器。这是这些问题的 最小解决方案 ，使得他们能够适合使用RANSAC进行鲁棒估计。我们的方法只需要图像中 移动点的轨迹 ，这些轨迹很容易通过最先进的方法提供，例如SIFT匹配，人体姿势探测器或行人跟踪器。我们能够使用单个 RANSAC的求解器 同步 由几帧移动构成的各种真实世界数据集。对于较大的时移，我们提出了一种连续使用这些求解器的 迭代算法。迭代算法被证明足够可靠，可以同步现实世界的摄像头设置，包括自动驾驶汽车、监控视频和体育比赛记录，这些视频是有 几秒不同步的。