图像拼接算法_计算机视觉方向简介 | 图像拼接

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

简介

图像拼接是将同一场景的多个重叠图像拼接成较大的图像的一种方法，在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域具有重要意义。图像拼接的输出是两个输入图像的并集。通常用到五个步骤：

特征提取 Feature Extraction：在所有输入图像中检测特征点图像配准 Image Registration：建立了图像之间的几何对应关系，使它们可以在一个共同的参照系中进行变换、比较和分析。大致可以分为以下几个类

1. 直接使用图像的像素值的算法,例如,correlation methods

2. 在频域处理的算法,例如,基于快速傅里叶变换(FFT-based)方法;

3. 低水平特征的算法low level features,通常用到边缘和角点，例如，基于特征的方法,

4. 高水平特征的算法high-level features,通常用到图像物体重叠部分，特征关系，例如，图论方法(Graph-theoretic methods)

图像变形 Warping：图像变形是指将其中一幅图像的图像重投影，并将图像放置在更大的画布上。

图像融合 Blending：图像融合是通过改变边界附近的图像灰度级，去除这些缝隙，创建混合图像，从而在图像之间实现平滑过渡。混合模式(Blend modes)用于将两层融合到一起。

特征点提取

特征是要匹配的两个输入图像中的元素，它们是在图像块的内部。这些图像块是图像中的像素组。对输入图像进行Patch匹配。具体解释如下: 如下图所示，fig1和fig2给出了一个很好的patch匹配，因为fig2中有一个patch看起来和fig1中的patch非常相似。当我们考虑到fig3和fig4时，这里的patch并不匹配，因为fig4中有很多类似的patch，它们看起来与fig3中的patch很相似。由于像素强度很相近，所以无法进行精确的特征匹配，

为了给图像对提供更好的特征匹配，采用角点匹配，进行定量测量。角点是很好的匹配特性。在视点变化时，角点特征是稳定的。此外，角点的邻域具有强度突变。利用角点检测算法对图像进行角点检测。角点检测算法有Harris角点检测算法、SIFT特征点检测算法((Scale Invariant Feature Transform),FAST算法角点检测算法，SURF特征点检测算法(Speeded-up robust feature)

Harris角点检测算法

Harris算法是一种基于Moravec算法的点特征提取算法。1988年C. Harris 和 M.J Stephens设计了一种图像局部检测窗口。通过在不同的方向上移动少量窗口，可以确定强度的平均变化。我们可以通过观察小窗口内的强度值很容易地识别角点。在移动窗口时，平坦区域在所有方向上均不会显示强度的变化。边缘区域在沿边缘方向强度不会发生变化。对于角点，则在各个方向上产生显著强度变化。Harris角点探测器给出了一种检测平坦区域、边缘和角点的数学方法。Harris检测的特征较多，具有旋转不变性和尺度变异性。位移下的强度变化:其中，是窗口函数，是移动后的强度，是单个像素位置的强度。

Harris角点检测算法如下：

1. 对图像中的每个像素点计算自相关矩阵(autocorrelation matrix M): 

   其中是的偏导数

2. 对图像中的每个像素点做高斯滤波，获得新的矩阵