多张无序图像自动全景拼接

摘要

本文涉及多组无序图像全自动全景图像拼接的问题。 研究了1D问题（单轴旋转）。 先前的方法已经使用人工输入或对图像序列的限制来建立匹配图像。 在本文中，我们将拼接作为一个多图像匹配问题，并使用不变的局部特征来找到所有图像之间的匹配。我们的方法对输入图像的排序，方向，比例和照明不敏感。 它对于不属于全景图的噪声图像也是无用的，并且可以识别无序图像数据集中的多个全景图。

关键词：无序图像、多组图像、SIFT、RANSAC、概率模型、拼接

1.图像拼接技术研究的背景和意义

随着社会的发展，人们对大范围、高分辨率的全景图像的需求越来越多，但是由于设备的性能限制，只能拍摄局部的图像，专业的摄像设备（全景相机、广角镜头等）一般比较昂贵，不适合普遍应用。针对这种局限性，人们提出了一种基于计算机图像处理的图像拼接技术来获得全景图。

图像拼接技术，也叫图像镶嵌技术，他将一组由重叠信息的图像拼接成一幅广视角高分辨率的平滑图像。利用图像拼接技术，可以突初冗余信息，压缩信息量，从而更加有效地反映真实世界。

图像拼接技术最初是应用于航空和卫星照片地合成。对于航摄照片，专业摄影测量工技于实际景物的距离过远，同时又需要清晰的图像，如整个上海市的地形图，就需要对图像先分别进行拍摄，然后采用图像拼接技术合成。采用图像拼接技术能将航空、卫星照片和宇宙空间探测器传回的照片进行拼接，建立大型的整体清晰图像；同时在海底勘测、地质勘测领域。可以通过图像拼接技术实现勘测场景的全幅绘制和三位重构；在医学图像处理方面，图像拼接技术将电子计算机X射线断层扫描技术、核磁共振技术和数字剪影血管造影技术获得的图像数据组合起来，得到关于病人的完全信息，方便医生诊断，从而提高病理检查的准确性，另外在虚拟现实领域，随着计算机技术、数字图像处理、计算机图形学以及Internet技术的发展，利用全景图像拼接技术得到清晰平滑宽视角的全景图像来绘制虚拟的现实场景弥补了文字和图形的缺点，使得人们所要表现得内容和场景，具有更强的说服力和更高的真实感。

综上所述，图像拼接技术是一种集测量学摄影学、摄像学、计算机视觉、图像处理和计算机图形学等多学科，涉及数值计算、模式识别、神经网络、最优化方法、显示技术等多领域知识的应用广泛的多学科交叉处理技术。图像拼接技术对设备要求低，适用于普通用户，应用前景十分广泛，因此深入研究图像拼接技术具有非常重要的意义。

2.国内外研究现状

关于图像拼接的方法国内外已有不少的论文发表，国内外的学者针对不同的图像拼接应用问题已经进行了大量的研究工作。早在1992年，英国剑桥大学的Brown L G首度总结了图像拼接的主要理论及其在各个领域的应用嘲。1996年，美国微软研究院的Richard Szeliski教授提出了一种基于运动的全景图像拼接模型，采用Levenberg．Marquardt迭代非线性最小化方法(简称L__M算法)，通过求出图像间的几何变换关系来进行图像配准，由于此方法效果较好，收敛速度快，且可处理具有平移，旋转，仿射等多种变换的待拼接图像，因此也成为图像拼接领域的经典算法跚。2000年，Shmule Peleg，Benny Rousso，Alex Rav．Acha和AssafZomet在Richard Szelisld的基础上做了进一步的改进，提出了自适应的图像拼接模型n帕，它是根据相机的不同运动，自适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。Szeliski R教授又提出通过迭代求出每幅图像对应的旋转矩阵和摄像机焦距来实现拼接的方法。这种方法在一定程度上减少了拍摄图像时对摄像机运动的限 制，但计算量增大，拼接结果也不稳定。Kuglin C．D和Mines D．C于1975年提出了相位相关法，此后Castro E．D和Morandi C提出了扩展相位相关法，利用傅里叶变换的性质能够实现具有旋转和平移变换的图像配准。随着快速傅里叶变换算法的提出以及信号领域对傅里叶变换的成熟应用，SdnivasalLB和ChatterjiB．N提出了一种基于FFT的图像配准方法可以处理包含平移、缩放和尺度变化在内的图像配准问题。Zokai S和wolbergG利用变换域的方法处理有大面积相似区域的图像。RosenfeldA提出的交叉相关是最基本的基于灰度统计的图像配准方法基于图像灰度统计的图像配准方法中，常用的算法有比值匹配法、块匹配法和网格匹配法。基于特征的图像配准方法是目前图像配准最常用的方法之一。这类方法主要包括特征提取、特征匹配、选取变换模型及求取参数、坐标变换与插值四个组成部分。刘忠红等提出的图像配准方法基于图像中结构的相似性，利用一系列结构的属性及关系匹配待配准图像中对应的结构，再从匹配的结构中得到控制点用于图像转换参数的估计。Yang和Cohen ES等人提出了一种利用仿射不变量和互加权矩仿射不变量来匹配角点的基于特征点的图像配准算法，此方法虽然无需在两幅图像的角点之间建立对应关系，但是对噪声角点比较敏感。Chang S．H等人提出了一种多特征图像配准方法，该方法使用的特征主要是特征点和直线段。Li Hui等提出基于轮廓的图像匹配方法，采用LOG算子提取两幅图像中的的物体特征轮廓，并用链码表示，然后根据相同轮廓的链码差分值不变的特性，找出与图像相匹配的轮廓，但算法对图像的轮廓特征要求较高。HengL．K、HwaE．M等提出的方法只适用于图像间存在小角度旋转(大约0-5)无序图像的全自动拼接关键技术研究的情况。此外还有采用Harris提取角点，利用最小中值法去除局外点，实现图像拼接。最小中值法比随机采样法计算复杂度高而且不能处理出格点超过50％的数据，所提取的特征点为像素级的，定位精度有待提高。

在国内，图像拼接技术尽管起步相对较晚，但很快也迅速发展了起来。1997年，王小睿等分别利用序贯相似度检测和归一化积相关两种相似性度量方法，建立模板图像和输入图像之间的相似性度量值，再利用模拟退火算法随机寻优，快速准确地找到最佳匹配点，从而实现图像的拼接。浙江大学CAD＆CG国家重点实验室和中国科学院自动化所模式识别国家重点实验室利用模板匹配的方法进行搜索来确定重叠区边界获最佳匹配位置，从而获得拼接图像。2001年，清华大学的研究人员提出了一种针对图像拼接过程中计算量与拼接精度之间进行折衷的方案，该方案用三角架保证摄像机基本绕垂直轴旋转，但是不对摄像机的旋转角度作严格限制。赵向阳，杜立民在2004年提出了一种基于特征点匹配的图像自动拼接算法瞳引，其中使用Harris算法提取角点并进行匹配。赵的算法采用了鲁棒变换估计技术，在一定程度上提高配准算法的稳健性，但是计算速度比较慢。

3.本文主要工作

全景图像拼接问题的基本几何形状已被充分理解主要是估计为每个图像3×3相机矩阵或单应性。这个估计过程需要一个初步的通常由用户输入提供以近似对齐图像，或固定图像排序。我们的做法不需要提供这样的初始化。

在研究文献中，用于自动图像对准和缝合的方法大致分为两类，直接法和基于特征法。直接方法具有以下优点：它们使用所有可用的图像数据，因此可以提供非常准确的配准，但它们需要近距离初始化。基于特征的配准不需要初始化，但传统的特征匹配方法（例如，Harris corne 周围的图像块的相关性）缺乏实现任意全景图像序列的可靠匹配所需的不变性。

在本文中，我们描述了一种基于不变特征的全自动全景图像拼接方法。尽管输入图像中的旋转，缩放和照明变化，我们使用不变特征可实现全景图像序列的可靠匹配。其次，通过将图像拼接视为多图像匹配问题，我们可以自动发现图像之间的匹配关系，并识别无序数据集中的全景图。

4.实施步骤

4.1 特征匹配

全景识别算法的第一步是在所有图像之间提取和匹配SIFT 特征。 SIFT特征位于高斯函数差的尺度空间。在每个特征位置，建立特征尺度和方向。这给出了相似性不变的帧，在其中进行测量。虽然在该帧中简单地采样强度值将是相似性不变量，但实际上通过在方向直方图中累积局部梯度来计算不变量描述符。这允许边缘稍微移位而不改变描述符向量，从而给仿射变化提供一些鲁棒性。这种空间累积对于移位不变性也很重要，因为兴趣点位置通常仅在0-3像素范围内是准确的。通过使用梯度（消除偏差）和归一化描述符矢量（消除增益）来实现照明不变性。

由于SIFT特征在旋转和比例变化下是不变的，因此我们的系统可以处理具有不同方向和缩放的图像（如图1所示）。请注意，使用传统的特征匹配技术（例如Harris角落周围的图像块的相关性）是不可能的。常数（平移）相关在旋转下不是不变的，哈里斯角不是规模变化的不变量。

 

图1.使用旋转和缩放进行拼接。尽管输入图像中的旋转，变焦和光照变化，但我们使用不变特征可以实现拼接。这里塔底部和顶端的插图图像是其他图像比例的4倍。

假设相机围绕其光学中心旋转，图像可能经历的变换组是一组特殊的单应性。我们通过旋转矢量和焦距对每个相机进行参数化。这给出了成对的单应性其中

                                                               (1)                                  

（，其中是二维图像位置）。由4参数相机模型

                                                     (2)

和使用旋转的指数R表示

                                      (3)

理想情况下，人们会使用在这组变换下不变的图像特征。 但是，对于图像位置的微小变化

                                  (4)

可等效地，其中

                                                      (5)

是通过线性化关于的全息图获得的仿射变换。这意味着每个小图像补丁经历仿射变换，并且证明使用在仿射变化下部分不变的SIFT特征。

一旦从所有n个图像中提取特征，就可以匹配它们。由于多个图像可能与单个光线重叠，因此每个特征与特征空间中的k个最近邻居匹配（我们使用k = 4）。这可以通过使用k-d树来找到近似的最近邻。

4.2 图像匹配

在这个阶段，目标是找到所有匹配（即重叠）的图像。连接的图像匹配组将成为全景图。由于每个图像都可能与其他图像匹配，因此该问题首先出现在图像数量的倍增。但是，只需要将每个图像与少量重叠图像进行匹配，以便为图像几何形状提供良好的解决方案。

从特征匹配步骤，我们已经识别出它们之间具有大量匹配的图像。我们考虑一个恒定数量的m个图像，它们与当前图像具有最大数量的特征匹配，因为潜在的图像匹配（我们使用m = 6）。首先，我们使用RANSAC选择一组与图像之间的单应性兼容的内点。接下来，我们应用概率模型来验证匹配。

4.2.1 RANSAC估计H

RANSAC（随机抽样一致性算法）是一种稳的估计过程，它使用最小的随机采样对应集来估计图像变换参数，并找到与数据具有最佳一致性的解决方案。在全景图的情况下，我们选择r=4个特征对应的集合，并使用直接线性变换（DLT）方法计算它们之间的同一性H.我们用n=60个试验重复这个，并选择具有最大内点数的解（其投影与公差s像素内的H一致）。鉴于一对匹配图像之间的特征匹配是正确的概率（更简单的概率）是pi，在n次试验之后找到正确变换的概率是

                          (6)

经过试验，找到正确单应性的可能性非常高。对于inlier概率，在60次试验后未发现正确单应性的概率约为。

4.2.2 图像匹配验证的概率模型

对于每对可能匹配的图像，我们有一组几何一致的特征匹配（RANSAC内点）和一组在重叠区域内但不一致的特征（RANSAC异常值）。我们的验证模型的想法是比较通过正确的图像匹配或错误的图像匹配生成这组内部/异常值的概率。

对于给定图像，我们表示重叠区域中的特征总数和内部数。正确/错误地匹配此图像的事件由二进制变量表示。第个特征匹配是一个内部/异常值的事件被假定为独立的伯努利，因此内部的总数是二项式的

                                      (7)

其中是特征是在给定正确图像匹配的情况下的内部概率，而是特征是假定图像匹配的内部概率的概率。 一组特征匹配变量表示为。内部数和是二项分布

                                 (8)

我们选择值和。我们现在可以使用贝叶斯规则评估图像匹配正确的后验概率

         (9)

如果，我们接受图像匹配

                                                    (10)

选择值和给出条件

一旦在图像之间建立了成对匹配，我们就可以找到全景序列作为连接的匹配图像集。这使我们能够识别一组图像中的多个全景图，并拒绝与其他图像不匹配的噪声图像（见图2）。

(a)图像匹配

(b)图像匹配的连通分量

(c)输出全景图

图2.识别全景图。给定一组嘈杂的特征匹配，我们使用RANSAC和概率验证程序来找到一致的图像匹配（a）。一对图像之间的每个箭头表示在该对之间找到了一组一致的特征匹配。检测图像匹配的连接分量（b）并拼接成全景图（c）。

4.3 Bundle Adjustment

给定图像之间的一组几何一致匹配，我们使用Bundle Adjustment来共同求解所有相机参数。这是一个基本步骤，因为成对单应性的连接将导致累积误差并忽略图像之间的多个约束，例如，全景图的末端应该连接起来。图像被逐一添加到束调整器中，在每一步添加最佳匹配图像（最大匹配数）。初始化的新图像具有与其最佳匹配的图像相同的旋转和焦距。然后使用Levenberg-Marquardt更新参数。

我们使用的目标函数是一个有理的求和平方投影误差。 也就是说，每个特征被投影到其匹配的所有图像中。给定一个函数（表示图像i中第k个特征的位置），残差是

                                                                          (11)

其中是从图像j到对应于的点的图像i的投影

                                                                  (12)

误差函数是所有残留误差图像的总和

                                         (13)

其中n是图像的数量，I(i)是与图像i匹配的图像集合，F(i，j)是图像i和j之间的特征匹配集合。 我们使用Huber鲁棒误差函数

                                            (14)

该误差函数结合了L2范数优化方案对于内点（距离小于σ）的快速收敛特性，以及对于异常值（距离大于σ）的L1范数方案的鲁棒性。 我们在初始化期间使用离群距离σ=∞，对于最终解，我们使用σ= 2像素。我们使用Levenberg-Marquardt算法求解的非线性最小二乘问题。

5.结果

5.1 算法流程

算法：多张无序图像自动全景拼接

输入：n张无序图像

I.从所有n个图像中提取SIFT特征

II.使用k-d树为每个特征找到k个最近邻

III.对于每个图像：

（i）选择与该图像具有最多特征匹配的m个候选匹配图像

（ii）使用RANSAC找到几何一致的特征匹配，以求解图像对之间的单应性

（iii）使用概率模型验证图像匹配

IV.进行束调整以求解所有摄像机的旋转角度θ1，θ2，θ3和焦距f

V.渲染全景图

输出：全景图像

5.2 DEMO

输入图片

 

输出图片：