Planar Affine Rectification from Change of Scale文章阅读笔记（一）

Planar Affine Rectification from Change of Scale文章阅读笔记（一）

原论文地址：https://link.springer.com/chapter/10.1007/978-3-642-19282-1_28

摘要

本文提出了一种利用相对尺度变化知识的平面仿射校正方法。该校正变换通过三个非共线点的相对尺度变化或两个相对尺度已知的点对来完全指定；点对之间的相对尺度变化不是必需的。该方法还允许从三个具有尺度的点对应关系中估计平面场景的两个视图之间的单应性。
提出的方法易于实现且无参数；线性且支持（代数）最小二乘解；通用，不受相应特征的形状或它们之间的相对位置的限制。该方法在文本校正、重复模式检测、纹理归一化和从三个具有尺度的点对应关系中估计单应性等方面具有广泛的应用。

简介

平面仿射校正的问题，即通过单应性变换图像，使平面的消失线变为无穷远线的问题，出现在许多应用中，例如在文档处理[1、2]、重复结构检测[3]和纹理分析[4、5]。在校正后的图像中，感兴趣的平面看起来就像被一个仿射相机观察，即被一组平行射线投影和缩放。恢复仿射属性，如平行性和全局比例，简化了后续的应用依赖处理步骤，例如几何归一化、检测和识别。
在本文中，介绍了一种通用的简单平面仿射校正方法。该算法利用平面中图像点局部邻域的相对尺度变化知识。校准变换完全由三个非共线点的相对尺度变化指定。该方法涵盖的另一个最小情况适用于两个点对相对尺度变化已知的情况；不需要点对之间的相对尺度变化。
在实践中，经常出现相对尺度变化在不同点上已知的情况。例如，考虑平面表面上重复图案的仿射校正问题，即图1中的立面。在立面的透视图像中，检测到的窗户特征通常在尺寸（面积）上有所不同。在现实中，窗户通常具有相同的大小是很常见的。本文中解决的问题是找到一个平面单应性H，将立面的图像变换为所有窗户特征覆盖相同的区域。我们在实验部分中表明，该方法适用于许多情况。

图1。仿射校正。原始图像（a）-由于透视投影，三角形补丁的面积从1991到4307像素不等。校正后的图像（b）-面积大致相同，与现实中的情况相同。立面上的平行线在原始图像（c）中并不平行，并且在归一化后（d）是平行的。切块（c）和（d）是由（a）中的两条红色线段定义的平行四边形。
提出的方法具有以下优点：（通用性）没有对特征的形状或它们的相对位置做出假设；特征不必位于规则的网格上或在线上，并且可以任意旋转；（稳定性）从面积的比例计算校正，这是一个非常稳定的属性，对许多图像退化（如离散化）不敏感；（简单性）校正算法简单、易于实现且没有参数；（线性）对尺度变化的约束在代表变换的同源矩阵H的条目上以线性约束的形式表达。线性约束非常方便，因为它们既可用于（类似RANSAC的鲁棒估计器）的最小集合，也可用于所有可用数据的（代数）最小二乘解。
算法的推导假设特征足够小，以便它们的尺度变化合理地近似相应点的尺度变化（无穷小补丁）。这种假设是由使用仿射共变特征点和/或仿射不变特征描述符的宽基线匹配方法所做出的。我们在第3节中通过实验表明，该假设在实践中成立。
先前的工作。文献中提出的仿射校正算法在处理过程中利用了图像中存在的结构的假设不同。最直接的方法检测两个不同的消失点[7]。
对于平面上的重复元素，已经解决了消失线检测的问题。经过投影变换后，元素的几何关系被称为elation [7]。基于elation假设的消失线（和点）检测的全面研究在[3]中给出。另一种利用elations检测投影纹理图像中的消失线的方法在[8]中提出。其他方法，特别是在文本分析中，假设可以在图像中检测到间距相等的平行线。然后，通过这些平行线的交集以及线上共线点集合的比率估计归一化（消失线）[1]。
在纹理形状领域出现了关于仿射校正的出版物[9]。一般来说，假设纹理具有同质性，可以估计比平面方向更复杂的结构[10]。然而，在这种情况下需要相当复杂的优化方法。有许多方法可以从纹理中检测消失点和/或线。基于纹理主导方向的投票方案可用于确定消失点[11]。在[12]中，基于投影变换下功率谱畸变的另一种投票方案被用于检测消失线。
与我们的想法相似的想法出现在Ohta 1981年的纹理形状论文中[13]。尽管推导方式不同，但结果密切相关。事实上，我们的公式是[13]的特例。我们的公式允许将该想法的应用范围扩展到平面校正之外，例如多视图几何。我们的推导为每个特征产生一个线性约束，而Ohta的方法为每对纹理区域产生一个线性约束。最后，我们显示了比[13]或其扩展[14]更高的适用性，例如感兴趣的特征（或纹理）不必覆盖整个图像。
本文的其余部分组织如下。首先，方法在2和2.1节中推导出来。在2.2节中介绍了扩展到多个独立特征集的方法。第3节中提出了实验和应用：最小情况3.1的简单示例、文本校正3.2、非线性重复结构3.3、重复模式的多平面分割3.4、纹理校正3.5、合成数据上的实验3.6和3.7。在3.8节中讨论了从带有比例对应点的点估计图像到图像的同源变换的适用性。结论在4节中得出。附录A中可以找到共线点的退化情况的证明。

实现方法

首先，引入平面同源变换下的局部尺度变化的概念，并讨论其属性。接下来，展示简化代数的同源变换分解。最后，表明平面同源变换（即平面的透视变换）下的局部尺度变化约束导致同源矩阵的条目上的线性约束。
同源映射是从射影平面P 2到P 2的映射，通常由（齐次）矩阵H表示，或等效地由不均匀函数对（hx，hy）表示[7]。在本节中，我们将同源变换限制为以下形式

第2.1节讨论并证明了H3,3 = 1参数化的充分性。在点(x, y)处的一阶泰勒展开和雅可比JH局部近似于同源变换是一个仿射变换，其中尺度变化的概念被明确定义

透视变换下点(x, y)处的局部尺度变化因此被定义为该点的第一阶，即仿射近似，的尺度变化。换句话说，局部尺度变化是在透视变换下，点(x, y)处的一阶（即仿射）近似变换的尺度变化。

任何形式为(1)的同源变换H都可以分解为仿射变换A和同源变换^H的乘积AH，如下所示：

可以证明，用A和^H表示的同源变换H的尺度变化是：
分解(4)的优点在于，参数h1…h6对局部尺度变化的影响减少到了表达式中的单个全局（即位置无关）参数det A。

矩阵^H在(x, y)处的雅可比行列式的行列式是：

将det(A) = α3代入方程(5)，我们得到：




图2.星球大战字幕：(a)原始图像，(b)估计（经过仿射变换）归一化图像，©原始图像，带有估计的消失线（红色）和手动绘制的平行边线（黄色）
要估计同源变换^H，需要三个点的位置(xi, yi)和相应的局部尺度变化s(H, xi, yi)。仿射变换A、det(A) = α3和同源变换^H的任何组合，即H = A^H，都将满足局部尺度变化的约束。源图像中的消失线l是无穷远线(0 0 1)的预像。

如果可用的具有局部尺度变化的点数为p，p > 3，则可以使用最小二乘法。数据矩阵Z ∈ Rp×3由行组成：

每个点(xi, yi)一个。然后，解为：

其中Z†是Z的伪逆，11×p是一个p列的列向量。
在许多应用中，尺度变化并不重要或未知，只知道不同点的相对尺度变化。在这里，可以简单地忽略估计参数α。例如，对于立面示例图1，假设窗户具有相同的但未知的实际大小。在这种情况下，s(H, x, y)乘以一个未知标量。