图像配准（基础篇）

1、定义

维基百科上的定义：图像配准与相关是图像处理研究领域中的一个典型问题和技术难点，其目的在于比较或融合针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准问题。具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。如图所示

 

            图1  左图为基准影像，右图为配准影像                                                           图2    配准结果

2、原理

    假设给定两幅图像和，其中是两幅图像空间和中的某一点。图像配准算法的目标是找到一种变换使得变换某一图后两幅图像的相似程度：达到最大。相似性测度是一个跟变换有关并借助两幅图像数据计算出的用来衡量相似程度的函数，比如它可以是图像灰度值的误差平方和：。最后通过一种数学优化算法找到该函数的最优解，即变换。

3、步骤

要做图像配准你必须得考虑3个问题，分别是配准时所用到的空间变换模型、配准的相似性测度准则以及空间变换矩阵的寻优方式。

①、空间变化模型

空间变化模型是指的这两幅要配准的图像之间的映射模型，比如只有旋转、平移这些操作，那就是刚体变换模型，又比如有缩放操作，甚至X方向和Y方向缩放的幅度都还不一样，那就是仿射变换或者非线性变换模型。总之你要做配准，先要确定这两幅图像之间是一种什么样的映射模型。2D平面变换的基本集合有，平移，欧氏，相似，仿射，投影这五种变换。

②配准的相似度测量准则

配准的相似性测量准则。在你确定了变换模型后，接下去要做什么？当然是确定模型里的参数了，而要确定这些参数（不同的变换模型参数个数是不一样的，像刚体变换有x平移、y平移和旋转角度sita三个参数，仿射变换有6个参数）你得告诉程序什么参数是最好的，或者说是正确的。那么判断什么参数是正确的一个准则就是我们说的配准的相似性测度准则，也就是告诉程序在某组参数下是配准的程度是多少，显然使得配准程度最好的那组参数就是我们要找的参数。最基本的方法是误差平方和测量准则。

③空间变换矩阵的寻优方式

空间变换矩阵的寻优方式。因为大多数情况下，模型中的参数不是靠解出来的，而是要靠“尝试-判断”这种方式去寻找，空间变换矩阵的寻优说白了也就是怎么对这些参数进行寻优，找出使得配准程度最好的那一组参数的过程。一般情况下，配准问题都会转化为求解相似性测度最优值的问题，在计算方法中通常需要采用合适的迭代优化算法，诸如梯度下降法、牛顿法、遗传算法等等，如果你对这些算法都不了解，没办法，你只有用最笨的遍历式搜索方法了，也就是以某一个步距，搜索所有的参数组合方式，然后找出使得按照相似性测度准则配准程度最高的那一组参数。

4、举例

    比如有一幅图像A，我将A右移了2个像素，再往上移了3个像素，又顺时针旋转了60度，这时的图像我们称作B。如果我们要对A和B进行配准，其实就是确定2、3、60这三个参数的过程，因为这三个参数一旦确定了，我就知道了B和A的对应关系，换句话说对于B中的任何一个像素点我就知道在A中对应的是哪个点。如图3所示。

    ①空间变换模型确立，这里因为我知道这两幅图只有平移和旋转的变换操作，所以我们采用的模型是刚体变换模型（实际情况下，你如果不知道这两幅图像进行了什么变换操作，只有大概根据图像的位置信息揣测了，一般情况下非线性变换模型是最正确的，但是参数也最多）。
    ②选择配准的相似性测量准则，配准的相似性测度准则这里我们就用简单点的（只是举个例子说明下过程，事实上的许多情况都要复杂的多），以二值化后两幅图像重合的像素点个数为准，也就是说我们认为使得两幅图像重合的像素最多的那组参数就是正确的变换参数，理论上来讲，如果两幅图像严格配准了，那么显然他们所有的像素点都是重合的，否则就有错开的部分。
    ③选择空间变换的寻优方式，由于例子比较简单，而且为了使得问题更容易理解，这里不选择复杂的寻优方式，选择简单的寻优方式，直接遍历搜索。 因为有三个参数需要寻优因此，我们对这三个参数的解空间进行遍历，比如对X方向的平移像素个数我们从-100搜索到+100，步距为1像素，对Y方向的平移像素我们也从-100搜索到+100，步距为1像素，对旋转角度我们从0搜索到360度，步距为1度。这样等于说要完成一个200*200*360次的循环，然后在每次循环里面，我们都判断一下，按照当次循环参数进行变换后的A图像与B图像的重合像素个数有多少，找出200*200*360次循环中使得重合像素个数最多的那组循环中所使用的参数，这组参数就是我们所要的结果，如果一切正常，显然我们会在2，3，60这组参数所在循环中得到重合像素个数最多的结果。而所谓优化算法其实就是用一种更为智能的方式得到2，3，60这三个参数的过程。这样就完成了配准的过程。但是我们选择的是一个正方形作为例子，所以可能得到的解不是唯一的，但不影响配准结果。

                        图3 配准例子