图像配准建立仿射变换模型并用RANSAC算法评估

         当初选方向时就因为从小几何就不好、缺乏空间想像能力才没有选择摄影测量方向而是选择了GIS。昨天同学找我帮他做图像匹配，这我哪里懂啊，无奈我是一个别人有求于我，总是不好意思开口拒绝的人。于是乎就看着他给的一章节内容开始写程序了，今天总算给他完成了。做的比较简单，中间也遇到了不少问题，尤其是计算量大的问题，由于老师给的数据是粗配准过的数据， RANSAC算法评估时就简化了下。

理论内容：

第5章 图像配准建立几何变换模型

 

特征点建立匹配关系之后，下一步就是求解图像之间的变换关系。仿射变换能够很好的表达图像之间的一般变换，并且最少只需要3对匹配点就可以求解。由于之前用的匹配算法不能保证没有误匹配（实际上是存在误匹配的），本文将采用RANSAC方法来估计两幅图像之间的仿射变换关系。如果有足够多的图像特征匹配符合某一个特定的仿射变换，则我们认为当前匹配满意，反之，我们进行下一次估计。

5.1 RANSAC算法

RANSAC（RandomSample Consensus），即随机采样一致算法，准确来说是一种从一组包含噪声的观测数据中通过迭代的方式估计出数据所满足的某个数学模型的参数的算法。由Fischler和Bolles于1981年提出，是目前广泛使用的一种剔除误匹配点的方法。

5.2 仿射变换

仿射变换（Affine Transform）是一种仿射平面到自身的变换，它能够保持点的共线性（Parallelism，即保持二维图形之间相对位置关系不变，平行仍是平行，相交直线的交角不变）和直线的平行性（Straightness，即变换后圆弧还是圆弧，直线还是直线）。仿射变换是配准中最常用的一类转换模型，在几何学中有专门的仿射几何分支，并将仿射变换被看成一个平行的投影链。

 

仿射变换可用以个三乘三的矩阵表示，最后一行为（0,0,1）。该变换矩阵将原坐标（x,y）变为（x`,y`）。

变换矩阵为：

我们在空间几何信息检验中，认为如果两幅图像描述的是同一个物体或场景，由于图片大小，位置和角度的不同，两幅图像中相应的兴趣点的位置信息应该满足某一个仿射变换关系。因此，我们以两幅图像之间的特征匹配作为数据来估计仿射变换矩阵，如果能找到一个足够多特征匹配都服从的仿射变换，则认为当前匹配让人满意。

 

5.3 RANSAC仿射变换空间检验

空间检验就是通过RANSAC算法，根据图像之间的特征匹配信息，估计出一个仿射变换模型。

我们用下式来表示仿射变换矩阵

其中m1,m2,m3,m4体现尺度和旋转特性，tx是x方向上的平移，ty是y方向上的平移。

则一对匹配点的坐标可以写成

或者写成

其中，（x,y）是变换前，（u,v）是变换后的坐标。

为了解求仿射变换参数，对上式做一下变形：

可写成A*x=b，则模型参数x的值

要解六个参数，至少需要三对特征匹配，因此RANSAC随机采样每次需要三对数据来估计仿射变换矩阵。

 

介绍完相关概念和理论，下面是RANSAC空间几何信息检验的流程：

1. 数据准备：找到两幅图像（I1和I2）之间的匹配点对和坐标信息。

2. 模型估计：假设有n>3对的匹配点对，随机选取3对，根据公式解求仿射变换模型参数m1,m2,m3,m4,tx,ty。

3. 模型评估：对图像I1中所有的已匹配的点（x,y）做上述仿射变换，得到一系列变换后的坐标（u`,v`）。将这些得到的坐标和I2中对应的匹配点（u,v）求欧氏距离，即仿射变换的估计误差E。并用I2中相应特征点的尺度信息做归一化，这样每一个特征匹配可以求出一个归一化的估计误差，最终得到一个估计误差向量。

4. 根据估计误差向量确定一个误差阈值T（该怎么确定阈值？），估计误差向量中低于T的对应的特征匹配为Inliers。

5. 如果Inliers数目大于目前最大的Inliers数目，则当做找到了当前最好的放射变换，保存此变换（我看到网上说要对其做局部优化，将所有满足当前最好的仿射变换的Inliers匹配点对，重新做母性估计和模型评估并保存仿射变换信息。一般说来，经过局部优化的新放射变换通常会有更多Inliers，是什么意思啊？）

6. 重复2到6步骤，最终得到的仿射变换认为是I1和I2之间最好的放射变换模型。

这里记录下做的流程：

（1）推导六参数计算公式，编写仿射变换六参数类（由于之前没有检查数据，数据中有几组重复的，导致一直报“尝试除以零”这个错误）;

代码如下：

/*
 * 求解仿射变换模型参数的类 
 * 
 @ 刘硕编制
 */

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;

namespace ImageMatching
{   

    class ParameterHelper
    {
        public int[] X_Cor
        {
            get;
            set;
        }
        public int[] Y_Cor
        {
            get;
            set;
        }
        public int[] U_Cor
        {
            get;
            set;
        }
        public int[] V_Cor
        {
            get;
            set;
        }
        //仿射变换模型六参数
        public double m1
        {
            get
            {
                return ((U_Cor[1] - U_Cor[0]) - m2 * (Y_Cor[1] - Y_Cor[0])) / (X_Cor[1] - X_Cor[0]);
            }
        }
        public double m2
        {
            get
            {
                return ((U_Cor[1] - U_Cor[0])*(X_Cor[2] - X_Cor[0]) - (U_Cor[2] - U_Cor[0])*(X_Cor[1] - X_Cor[0])) / 
                    ((Y_Cor[1] - Y_Cor[0])*(X_Cor[2] - X_Cor[0]) - (Y_Cor[2]- Y_Cor[0])*(X_Cor[1] - X_Cor[0]));
            }
        }
        public double m3
        {
            get
            {
                return ((V_Cor[1] - V_Cor[0]) - m4 * (Y_Cor[1] - Y_Cor[0])) / (X_Cor[1] - X_Cor[0]);
            }
        }
        public double m4
        {
            get
            {
                return ((V_Cor[1] - V_Cor[0]) * (X_Cor[2] - X_Cor[0]) - (V_Cor[2] - V_Cor[0]) * (X_Cor[1] - X_Cor[0])) /
                    ((Y_Cor[1] - Y_Cor[0]) * (X_Cor[2] - X_Cor[0]) - (Y_Cor[2] - Y_Cor[0]) * (X_Cor[1] - X_Cor[0]));
            }
        }
        public double tx
        {
            get
            {
                return U_Cor[0] - m1 * X_Cor[0] - m2 * Y_Cor[0];
            }
        }
        public double ty
        {
            get
            {
                return V_Cor[0] - m3 * X_Cor[0] - m4 * Y_Cor[0];
            }
        }

    }
}

（2 ）对所有匹配点计算组合数，按RANSAC随机采样每次需要三对数据来估计仿射变换矩阵，则共有（C _n ³ *C _n ³）种组合情况，计算量相当大。

（3）求解完仿射变换模型六参数后，则要进行模型评估。即计算归一化误差，得到归一化误差向量。

（4）确定阈值，计算Inliers数。这里参照论文，阈值取所有归一化误差的均值（按说应该取自适应阈值，奈何不懂啊）。

（5）比较所有组合的Inliers数，得到最优仿射变换，并保存。

（6）输出仿射变换六参数及匹配后坐标

欢迎留言拍砖！