PTGui图像拼接实验

1 PTGui图像拼接实验

1.1 概述

图像拼接技术就是将数张有重叠部分的图像（可能是不同时间、不同视角或者不同传感器获得的）拼成一幅无缝的全景图或高分辨率图像的技术

图像配准（image alignment）和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。一般来说,图像拼接主要包括以下五步[1]:

1、图像预处理：包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作。

2、图像配准：就是采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系。

3、建立变换模型：根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型。

4、统一坐标变换：根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换

5、融合重构：将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。

1.2 实验工具及技术原理

1.2.1 实验工具简介

PTGUI是一款功能强大的全景图片拼接软件，其五个字母来自于Panorama Tools Graphical User Interface。

使用PTGui可以快捷方便地制作出360X180度的“完整球型全景图片”（Full spherical panorama），其工作流程非常简便：1、导入一组原始底片；2、运行自动对齐控制点；3、生成并保存全景图片文件[2]。

软件能自动读取底片的镜头参数，识别图片重叠区域的像素特征，然后以“控制点”（control point）的形式进行自动缝合，并进行优化融合。在软件的全景图片编辑器有更丰富的功能，支持多种视图的映射方式，用户也可以手工添加或删除控制点，从而提高拼接的精度[3]。软件支持多种格式的图像文件输入，输出可以选择为高动态范围的图像，拼接后的图像明暗度均一，基本上没有明显的拼接痕迹。软件提供Windows和MAC版本。

1.2.2 实验技术原理

图片拼接主要分以下几个步骤：

1、图像预处理：

包括数字图像处理的基本操作(（如去噪、边缘提取、直方图处理等）、建立图像的匹配模板以及对图像进行某种变换（如傅里叶变换、小波变换等)等操作。

2、图像配准：

就是采用一定的匹配策略,找出待拼接国像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系。国像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅国像进行匹配、叠加的过程，它己经被广泛地应用于遥感数据分析、计算机视觉、国像处理等领域。配准技术的流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数：最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要[4]。

图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择多图像中的一张图像作为参考图像，将其它的相关国像与之配准，其坐标系统是任意的；绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。如何确定多图像之间的配准函数映射关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制点 ( RCP)。

3、建立变换模型：

根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型。

4、统一坐标变换：

根据建立的数学转换模型,将待拼接圈像转换到参考图像的坐标系中，完成统一坐标变换。

5、融合重构： 将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。图像融合技术是指将多源信道所采集到的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成同一图像以供观看或进一步处理。高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率。系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或者不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。这诸多方面的优点使得图像融合在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识．尤其在计算机视觉方面，图像融合被认为是克服目前某些难点的技术方向；在航天、航空多种运载平台上，各种遥感器所获得的大量光谱遥感图像（其中分辨率差别、灰度等级差别可能很大）的复合融合，为信息的高效提取提供了良好的处理手段，取得明显效益。

一般情况下，图像融合由低到高分为三个层次：数据级融合、特征级融合、决策级融合：

（1）数据级融合也称像素级融合，是指直接对传感器采集来得数据进行处理而获得融合图像的过程，它是高层次图像融合的基础，也是目前图像融合研究的重点之一。这种融合的优点是保持尽可能多得现场原始数据，提供其它融合层次所不能提供的细微信息。

（2）特征级融合中有空间域算法和变换域算法 ，空间域算法中又有多种融合规则方法，如逻辑滤波法，灰度加权平均法，对比调制法等；变换域中又有金字塔分解融合法，小波变换法。其中的小波变换是当前最重要，最常用的方法。在特征级融合中，保证不同图像包含息的特征，如红外光对于对象热量的表征，可见光对于对象亮度的表征等等。

（3）决策级融合主要在于主观的要求，同样也有一些规则，如贝叶斯法，D-S 证据法和表决法等。融合算法常结合图像的平均值、熵值、标准偏差、平均梯度；平均梯度反映了图像中的微小细节反差与纹理变化特征，同时也反映了图像的清晰度。目前对图像融合存在两个问题：最佳小波基函数的选取和最佳小波分解层数的选取[5]。

1.3 实验过程与结果

1.3.1 实验条件

采用手机摄像头获取图片，在PTgui图片拼接软件上实现图像拼接。在拍摄图片的过程中，我们要保证前后所拍摄的图片有所重叠，这个可以保证该软件可以自动找到足够多的控制点，方便后期计算变换矩阵和实现图像融合。在拍每一张照片时，我们要保证手机相机的参数不能变化，同时拍摄每张照片时的间隔不能太大，否者可能会因为相机参数或者光照的变化导致后面的图像融合不彻底。

1.3.2 实验过程

1、拍照：人站在原地不动，转动手机拍取图片，保证当前所拍的图片与上一次拍的图片有重叠的部分，尽量保证最后一次拍的图片与第一次拍的图片有所重叠，这样可以形成闭环。

2、导入图片到PTgui中：点击加载影像

3、选择相机参数，这里我们选择手机/平板电脑即可：

4、选择焦距及镜头，这里我们选择普通镜头（不是鱼眼）即可：

5、对齐影像：点击对齐影像，软件自动寻找匹配关键特征点并进行对齐：

6、对于控制点较少或没有的两个图像手动添加控制点：

7、添加完控制点后运行软件优化程序对全景图进行优化：

8、点击创建全景即可在当前目录下生成全景图：

1.3.3 实验结果与分析

在有足够多的控制点时，PTgui拼接后的全景图具有较好的效果，但是会出现黑洞等由于无法拍摄和匹配到控制点所造成的现象，对此要进行补天补底的操作。

如下图所示，我们30张图片，分别是靠近下围拍10张，中间拍10张，上围拍10张，全部导入PTgui中，进行对齐影像，添加必要的控制点，生成全景图。

可见由于我拍了3圈，所以全景图上出现了3个洞，最左边的一个洞和最右边的一个洞应该是同一个洞，只不过需要用全景查看器才能看得见。观察图片左边的栏杆处，可以看到一个断裂，这可能是由于控制点过少或误标控制点造成的，而且由于栏杆这种物体在空间上具有周期性，会很容易出现控制点错误的情况，在实际拍摄的过程中要注意此类物体的拍法。可见天上有一个洞，天空中没有云的话会很难确定控制点，对于此类问题我们主要采取补天操作。

由于手机自己拍的照片不太符合PTgui的图片要求，导致成片效果不太尽如人意。为此，我采用网络上的素材来进行全景图的制作。如下图所示，15张图片被导入PTgui，按照前述流程生成全景图。

如下图所示为PTgui生成的图片，需要进行补天和补地操作：

补天后的结果如下图所示：

补地后最终形成的图片如下图所示，可见效果还是不错的：

1.4 总结

（1）拍照的时候图片一定要有所关联，不能出现独立的一张图片，否则无法进行拼接操作,或导致拼接错误；

（2）手动添加控制点时要仔细比对空间上具有周期性的物体，保证控制点正确，控制点一般越多软件生成的全景图效果越好；

（3）图像拼接涉及图像预处理、图像配准、建立变换模型、统一坐标变换、融合重构等知识，我明白了其中每个环节的作用和具体实现途径；

（4）学习了PTgui的基本运用和底层原理（图像拼接的基本原理及流程），

参考文献

[1]叶萍萍, 罗宏. 基于PTGui Pro,Pano2VR的三维全景图制作方法与应用[J]. 城市勘测, 2012(4):4.

[2]高轶. 全景照片合成技术及PTGUI的运用[J]. 电脑知识与技术:学术交流, 2010.

[3] Ye P , Luo H . Manufacture Methods and Application of Three-dimensional Panoramagram Based on PTGui Pro,Pano2VR[J]. Urban Geotechnical Investigation & Surveying.

[4]刘新文. 全景摄影和PTGui Pro详解[M]. 西北大学出版社, 2013.

[5]冯小欧. 一种基于PTGui的全景图拼接方案[J]. 都市家教月刊, 2012, 000(003):206-206.