图像拼接（Image Mosaics）技术

• 选题的背景与意义

在日常生活中，使用普通相机获取宽视野的场景图像时，必须通过调节相机的焦距才可以提取完整的场景。由于相机的分辨率有限，拍摄场景越大，得到的图像分辨率就越低，因此只能通过缩放相机镜头减小拍摄的视野，以换取高分辨率的场景照片。为了在不降低图片分辨率的条件下获取大视野的场景照片，可将普通照片或者视频图像进行无缝拼接，得到超宽视角甚至360°全景图，实现场面宏大的景物拍摄。

图像拼接（Image Mosaics）技术就是把针对同一场景的相互有部分重叠的一系列图片合成一张大的宽视角的图像，并且要求拼接后的图像最大程度地与原始图像接近，失真尽可能小，没有明显的缝合线川。随着数字图像处理理论的丰富，近年来的发展趋势是利用PC机通过一定的算法来完成多幅图像的拼接，从而生成一幅完整的大图像。2003年，美国“勇气号”和“机遇号”火星探测器发回了大量的火星地面照片，科学家们就是运用图像拼接技术合成了火星表面的宽视角全景图像。因此，研究并提出一种精确而高速的图像拼接算法具有十分重要的现实意义。

图像拼接技术已广泛应用在宇宙空间探测、医学、气象、军事、视频压缩和传输，档案的数字化保存，视频的索引和检索，物体的3D重建，数码相机的超分辨率处理等领域。图像拼接的广泛应用，图像拼接理论不断得到丰富。

早期的图像拼接研究一直用于照相绘图学,主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域，计算机视觉和计算机图形学的研究焦点。在计算机视觉领域中,图像拼接成为对可视化场景描述（Visual Scene Representations）的主要研究方法,在计算机图形学中,现实世界的图像过去一直用于环境贴图,即合成静态的背景和增加合成物体真实感的贴图。图像拼接可以使IBR从一系列真实图像中快速绘制具有真实感的新视图。

目前,一个特别流行图像拼接技术的应用是全景图的拼接,它是基于图像绘制虚拟现实场景创建和虚拟漫游的基础。由于图像是独立拍摄的,在光滑表面上进行图像拼接对清晰度没有约束,并且可以避免不连续现象。全景图提供一种在虚拟场景交互式浏览中良好的感觉,使用节点合成多个场景可以让用户在场景之间切换漫游,利用计算机视觉的方法,能够从两个节点之间产生新的中间视点图像。与几何模型绘制真实场景相反,可以从这些节点重建场景的几何模型。

• 研究的基本内容与拟解决的主要问题

• 研究的基本内容：

本项目主要目的是将把同一场景的相互有部分重叠的一系列图片合成一张大的宽视角的图像，并且要求拼接后的图像最大程度地与原始图像接近，失真尽可能小，没有明显的缝合线川。图像拼接主要由图像获取、图像配准、图像融合三部分组成。

• 拟解决问题

图像拼接中的主要问题：

如何确定重叠区域和如何使拼接后的图像不出现明显的拼接缝。如果对视觉上已经感觉重叠融合到一起的两幅图像的边缘部分进行放大,就会发现很多细节部分并没有重叠。这样生成的图像原本一个病灶点可能会被误判为两个或体积更大,原本清晰的边缘可能造成模糊迹象。

• 研究的方法与技术路线

图像拼接就是将多幅来自同一场景的有重叠的小尺寸图像合成一幅大尺寸的高质量图像。主要流程如下图3-1所示。

                    

     

                        图3-1 图像拼接的基本流程

在RGB模型中，如果R=G=B时，则彩色表示一种灰度颜色，其中R=G=B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值（又称强度值、亮度值），灰度范围为0-255。

图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。

为了实现图像拼接，首先需要寻找图像拼接的重叠部分，即实现重叠图像的匹配。在图像匹配技术中，匹配的依据是图像之间的相似性。根据相似性判断标准的不同，图像匹配方法大致可以分为三类：基于轮廓特征、基于模版匹配的穷尽搜索和基于频域变换。其中基于模版匹配方法的匹配时间较长，匹配效率不高，当图像发生旋转、比例变化时，不能准确的定位图像的位置；基于频域变换的方法的计算量较大，需要将图像由时域转换到频域进行相位关系比较；基于特征的匹配方法不是直接利用图像的像素值，而是通过像素导出图像特征（常见的特征包括点、轮廓、曲线和曲面等），然后以图像特征为标准，对图像重叠部分的对应特征区进行搜索匹配。

一般基于特征点的匹配算法主要包括特征点、确定特征点之间的关联、确定图像之间的配准变换三个处理过程，而点特征中主要应用的是图像中的角点。由于角点特征不会随图像的旋转、缩放、投影和仿射等操作而改变，通过提取两幅图像中的角点，再利用特征点匹配算法尽可能的选择对应关系的特征对。

图像特征点也称角点，因具有信息量丰富、便于测量和表示的优点，能适应环境光照的变化，尤其适用处理遮挡和几何变换问题等优点而成为特征匹配算法的首选。特征点检测的方法有很多，大致可以分为二类：一类是首先进行边缘的提取，然后再进行角点提取，如Kitehen角点检测算法和Beaudet角点检测算法；另一类是直接在灰度图像中提取角点特征，主要通过计算出率及梯度达到检测角点的目的，如Harris角点检测算法，SUSAN（Smallest Uuivalue Segment Assimilating Nucleus）角点检测算法和SIFT（Scale-Invariant Feature Transform）角点检测算法等。

SIFT角点检测算法是基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变的图像局部特征描述算法，即尺度不变特征变换。通过SIFT方法从图像中提取的特征点可用于一个物体或场景不同的可靠匹配，提取的特征点对图像尺度和旋转保持不变，对光线变化、噪声和仿射变化都具有鲁棒性。SIFT角点检测过程是：首先在尺度空间进行特征检测，并确定特征点的位置和特征点的尺度，然后以特征点邻域梯度的主方向为该点的方向特征，实现对尺度和方向的无关性，最后得到两幅图像的所有特征点描述符。

通过SIFT角点检测算法得到两幅图像的所有特征点描述符后，使其中一幅图像为样本图像，与之相匹配的图像为特征图像。因为正确的匹配应该比错误的匹配有明显的最短最近邻距离、可以利用最近邻特征点性质实现两幅图的匹配。最近邻特征点是指用不变的特征点描述符进行运算的、与样本点具有最短欧几里得距离的特征点。欧几里得距离定义： 欧几里得距离（ Euclidean distance）也称欧氏距离，在n维空间内，最短的线的长度即为其欧氏距离。它是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。通过该方法可以获得稳定的匹配结果。得到匹配的特征点后，可以进行图像拼接。

一般情况下，在拼接的边界处，两幅图像灰度上的细微差别都会导致明显的拼接缝，而在实际成像中，被拼接的图像在拼接辩解附近的灰度细微差别几乎是不可避免的，因此需要采用图像融合技术。通过使用渐入渐出的方法，即在重叠区域的平滑处实现第1幅图像慢慢过渡到第2幅图像。

主要参考文献

[1]王伟，陆佩忠．数字图像拼接技术[J]．小型微型计算机系统，2006，36(6)．

[2]敬忠良，肖刚，李振华．图像融合——理论与应用[M]．北京：高等教育出版社，2007．

[3]Mikolajczyk K，Schmid C.A performance evaluation of  local descriptors[J]．IEEE Transactions on PAMI，2005，27(10)．

[4]David G．Lowe．Distinctive Image Features from Scale—Invariant Keypoints．IJCV，

2004，60(2)．

[5]Feng Zhao，Wen Gao．Singular Value Decomposition Based Image Matching．Proceeding of the Third International Conference on Image and Graphics，2004．

[6]冷晓艳，薛模根，韩裕生等．基于区域特征与灰度交叉相关的序列图像拼接[J]．红外与激光工程，2005，34(5)．

[7]赵芹，周涛，舒勤．基于特征点的图像配准技术探讨川．红外技术，2006，28(6).

[8]林诚凯，李惠，潘金贵．一种全景图生成的改进算法．计算机工程与应用，2004，35．

[9]倪国强．多波段图像融合算法研究及其新发展(I)．光电子技术与信息，2001，14(5)．

[10]李志伟，苏志勋．图像拼接技术中若干问题的研究[D]．大连理工大学，2005．