《Image registration methods: a survey》论文翻译

这几天精读了论文《Image registration methods: a survey》，给大家做了一下翻译~~~
添加链接描述

图像配准方法综述

摘要

​ 本文对近年来经典的图像配准方法进行了综述。图像配准是将在不同时间、从不同角度和/或由不同传感器拍摄的同一场景的图像（两个或多个）进行叠加的过程。配准几何对齐两个图像（参考和感测图像）。根据图像配准过程的四个基本步骤：特征检测、特征匹配、映射函数设计、图像变换和重采样，对现有的基于区域和基于特征的配准方法进行了分类。文中介绍了这些方法的主要贡献、优缺点。讨论了图像配准中存在的问题及对未来研究的展望。本文的主要目的是为从事图像配准的研究人员提供一个全面的参考源，而不必考虑特定的应用。

1.介绍

​ 图像配准是将在不同时间、不同视角和/或不同传感器拍摄的同一场景的两个或多个图像叠加的过程。它将参考图像和感测图像几何地对齐。由于不同的成像条件，介绍了目前图像之间的差异。图像配准是所有图像分析任务中的一个关键步骤，在图像融合、变化检测和多通道图像恢复等各种数据源的组合中获得最终信息。通常，在遥感（多光谱分类、环境监测、变化检测、图像拼接、天气预报、创建超分辨率图像、将信息集成到地理信息系统（gis））中需要配准，在医学领域（结合计算机断层扫描（CT）和核磁共振数据以获得关于患者的更完整信息、监测肿瘤生长、治疗验证、将患者数据与解剖图谱进行比较）、制图（地图更新）和计算机视觉（目标定位、自动质量控制）等等。

​ 近几十年来，图像采集设备得到了飞速的发展，获取图像的数量和多样性不断增加，引起了图像自动配准的研究。布朗于1992年发表了一份关于图像配准方法的综合调查报告[26]。本文的目的是介绍后面介绍的相关方法，并以这种方式映射当前配准技术的发展。根据科学信息研究所（isi）的数据库，在过去10年中，发表了1000多篇关于图像配准的论文。包括1992年以前发表的成为经典或引入关键思想的方法，这些方法仍在使用中，以保持连续性并给出图像配准研究的完整视图。我们不打算详细讨论特定算法或描述比较实验的结果，而是希望总结主要方法并指出配准方法中有趣的部分。

​ 在第二节中，我们将讨论图像配准的各个方面和问题。第3节描述了基于区域和基于特征的特征选择方法。第4节回顾了现有的特征匹配算法。映射函数设计方法见第5节。最后，第6节主要调查图像转换和重采样技术。第7节介绍了图像配准精度的评估。第八节总结了配准方法研究的主要趋势，并对未来的研究方向进行了展望。

2.图像配准方法

​ 如上所述，图像配准在遥感、医学成像、计算机视觉等领域有着广泛的应用。一般来说，根据图像采集方式的不同，其应用可分为四大类：

​ 不同视点（多视点分析）。同一场景的图像是从不同的角度获取的。其目的是获得更大的二维视图或扫描场景的三维表示。

​ 应用实例：测量区域图像的遥感拼接。计算机视觉形状恢复（立体形状）。

​ 不同时期（多期分析）。同一场景的图像是在不同的时间获取的，通常是在规则的基础上，也可能是在不同的条件下。目的是发现和评估连续图像采集之间出现的场景变化。

​ 应用实例：全球土地利用遥感监测、景观规划。用于安全监控、运动跟踪的计算机视觉自动变化检测。医学影像学监测治疗的愈合，监测肿瘤的演变。

​ ==不同的传感器（==多模态分析）。同一场景的图像由不同的传感器采集。其目的是整合从不同源流中获得的信息，以获得更复杂和详细的场景表示。

​ 应用实例：遥感融合来自具有不同特征的传感器的信息，如全色图像，提供更好的空间分辨率，具有更好的光谱分辨率的彩色/多光谱图像，或独立于云层和太阳光照明的雷达图像。医学成像：记录人体解剖结构的传感器，如磁共振成像（MRI）、超声或CT，以及监测功能和代谢性身体活动的传感器，如正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）或磁共振波谱（MRS）。结果可应用于放射治疗和核医学等领域。

​ 场景到模型配准。配准场景图像和场景模型。该模型可以是场景的计算机表示，例如地理信息系统中的地图或数字高程模型（DEM）、具有类似内容的另一个场景（另一名患者）、“平均”样本等。其目的是将采集的图像定位在场景/模型中和/或进行比较。

​ 应用实例：将航空或卫星数据遥感登记到地图或其他地理信息系统图层中。计算机视觉目标模板与实时图像匹配，自动质量检测。医学影像学.病人影像与数字解剖图谱的比较.标本分类

​ 由于要配准的图像的多样性和各种类型的退化，不可能设计出适用于所有配准任务的通用方法。每种方法不仅要考虑图像间几何变形的假设类型，还要考虑辐射变形和噪声破坏、所需的配准精度和与应用相关的数据特性。

​ 然而，大多数配准方法包括以下四个步骤（见图1）：

​ ==特征检测。==显著和独特的对象（闭合边界区域、边缘、轮廓、线交点、角点等）被手动或优选地自动检测。对于进一步的处理，这些特征可以用它们的点代表（重心、线端点、特征点）来表示，在文献中称为控制点（cps）。

​ ==特征匹配。==在此步骤中，建立感测图像中检测到的特征与参考图像中检测到的特征之间的对应关系。为此目的，使用了各种特征描述符和相似性度量以及特征之间的空间关系。

​ ==变换模型估计。==估计了将感测图像与参考图像对齐的所谓映射函数的类型和参数。利用建立的特征对应关系计算映射函数的参数。

​ 图像重采样和变换。利用映射函数对感测图像进行变换。采用适当的插值技术计算非整数坐标系中的图像值

​ 每个配准步骤的实现都有其典型的问题。首先，我们必须决定什么样的特性适合于给定的任务。特征应该是独特的对象，这些对象经常在图像上传播，并且易于检测。通常需要特征的物理解释性。参考图像和感测图像中检测到的特征集必须具有足够的公共元素，即使在图像不完全覆盖同一场景或存在对象遮挡或其他意外变化的情况下也是如此。检测方法应具有良好的定位精度，且对假定的图像退化不敏感。在理想情况下，该算法应该能够检测出场景中所有投影中的相同特征，而不必考虑特定的图像变形。

​ 在特征匹配步骤中，由错误的特征检测或图像退化引起的问题可能会出现由于成像条件不同和/或传感器的光谱灵敏度不同，物理上对应的特征可能不同。特征描述和相似性度量的选择必须考虑这些因素。特征描述符应该对假定的退化保持不变。同时，它们必须具有足够的可辨别性，以便能够区分不同的特征，并且具有足够的稳定性，以便不受轻微的未预期特征变化和噪声的影响。不变量空间中的匹配算法应具有鲁棒性和高效性。在其他图像中没有对应的单一特征不应影响其性能。

​ ==映射函数的类型应根据有关采集过程和预期图像退化的先验已知信息来选择。==如果没有先验信息是可用的，模型应该是灵活的和一般的足以处理可能出现的所有可能的退化。还需要考虑特征检测方法的精度、特征对应估计的可靠性和可接受的逼近误差。此外，还必须决定哪些图像之间的差异必须通过配准来消除。如果目标是变化检测，则不希望消除我们正在搜索的差异。这个问题非常重要，也非常困难。

​ 最后，适当类型的重采样技术的选择取决于所要求的插值精度与计算图1之间的权衡。图像配准的四个步骤：顶行特征检测（本例中使用角点作为特征）。用不变描述符进行中行特征匹配（对应的对用数字标记）。利用建立的对应关系进行左下变换模型估计。使用适当的插值技术对右下角图像进行重采样和变换。B. Zitova，J. Flusser /图像和视觉计算21（2003）977 - 1000 979的复杂性。在大多数情况下，最近邻或双线性插值是足够的；但是，有些应用需要更精确的方法。

​ 由于其在各个应用领域的重要性以及复杂的性质，图像配准一直是近年来研究的热点。历史上第一篇调查论文[64]主要涉及基于图像相关的方法。对通用图像配准方法的最详尽的回顾可能在文献[26]中。文献综述了配准技术在医学成像中的应用。[86111123195]。文献[9]综述了医学成像中基于表面的配准方法。参考文献[40]对基于卷的配准进行了审查。主要应用于遥感的配准方法在[5981106]中进行了描述和评估。范德比尔特大学开展了不同配准方式的大型评估项目[206]。

​ 配准方法可以根据各种标准进行分类。通常使用的是应用领域、数据的维度、假设的图像变形的类型和复杂性、计算成本和配准算法的基本思想。在这里，根据基本思想选择分类，考虑到将配准分解为所描述的四个步骤。根据它们的主要贡献，涵盖了超过这四步框架的技术。

3.特征检测

​ 以前，特征是由专家手动选择的对象。在这个配准步骤的自动化过程中，形成了两种主要的特征理解方法。

3.1 基于区域的方法

​ 基于区域的方法侧重于特征匹配步骤而不是特征检测。在这些方法中没有检测到特征，因此省略了图像配准的第一步。属于该类的方法将在与其他配准步骤相对应的部分中介绍。

3.2 基于特征的方法

​ 第二种方法是基于图像中显著结构特征的提取。==重要区域（森林、湖泊、田地）、线（区域边界、海岸线、道路、河流）或点（区域角、线交点、高曲率曲线上的点）在这里被理解为特征。==它们应该是清晰的，分布在整个图像上，并且在两个图像中都能有效地检测到。在整个实验过程中，希望它们能及时稳定地停留在固定的位置。

​ 通过特征检测器的不变性和准确性以及重叠准则，保证了感测图像和参考图像中特征集的可比性。换言之，不管图像几何结构、辐射条件、附加噪声的存在以及扫描场景中的变化如何，检测到的特征集合的公共元素的数量应该足够高。这些==特征的“显著性”==是由它们的定义所隐含的。与基于区域的方法相比，基于特征的方法不能直接处理图像强度值。这些特征代表了更高层次的信息。这种特性使得基于特征的方法适合于期望光照变化或需要多传感器分析的情况。

​ 区域特征。类似区域的特征可以是具有适当大小的一般高对比度封闭边界区域[54,72]、水库和湖泊[71,88]、建筑物[92]、森林[165]、城市区域[161]或阴影[24]的投影。边界封闭区域的一般准则是普遍的。这些区域通常用它们的重心来表示，在随机噪声和灰度变化的情况下，重心的旋转、缩放和倾斜都是不变的，并且是稳定的。

​ 通过分割方法检测区域特征[137]。分割的准确度对配准结果有很大的影响。Goshtasby等人[72]提出了细化分割过程以提高配准质量。图像的分割与配准一起进行迭代，每次迭代中，利用目标对应关系的粗估计来调整分割参数。他们声称可以达到亚像素级的配准精度。

​ 近年来，基于尺度变化不变量的区域特征选择问题引起了人们的关注。alhichri和kamel[2]利用距离变换提出了虚拟圆的概念。在[194]中，基于harris角点检测器[135]和通过检测角点的边（曲线或直线）描述了仿射不变邻域。MATAS等人提出了基于图像强度均匀性的最大稳定极值区域的不同方法。[127]。

​ ==线条特征。==线特征可以是医学成像中一般线段[92132205]、物体轮廓[3674112]、海岸线[124168]、道路[114]或细长解剖结构[202]的表示。线对应通常用线端或中点对表示.

​ 线特征检测采用canny检测器[28]或基于高斯拉普拉斯算子的检测器[126]等标准边缘检测方法。对现有的边缘检测方法及其评价方法的综述，可在[ 222 ]中找到。Li等人[112]建议利用参考图像（光学数据）中已经检测到的特征来检测感测图像（带斑点噪声的sar图像，这是该类型数据中存在的典型b.zitova™、j.flusser/图像和视觉计算21（2003）977–1000 980退化）。他们应用弹性轮廓提取。maintz等人比较了多模态医学图像中特征边缘检测和脊线检测的不同算子。[121122]。

​ ==点特征。==点特征组包括处理直线交叉点[175198]、道路交叉点[79161]、水域质心、油气垫[190]、高方差点[45]、使用gabor小波检测的局部曲率不连续性[125，219]、曲线拐点[3,11]、小波变换的局部极值[58,90]，与特定相似性度量[115]和角点[20,92204]相关的最显著点。

​ 在大多数情况下，特征检测器的核心算法遵循“点”作为线交点的定义，封闭边界区域的质心或小波变换的局部模极大值。角点形成了一类特殊的特征，因为“待角点”属性很难用数学方法定义（直观地说，角点被理解为区域边界上的高曲率点）。为了提高角点检测的精度、鲁棒性和快速性，人们付出了很大的努力。角落探测器的调查可在参考文献中找到。[155172220]以及参考文献[156]中最新和最详尽的内容。后者还分析了探测器的局部化特性。角点作为cps被广泛应用，主要是因为它们对成像几何的不变性，以及它们被人类观察者很好地感知。

​ kitchen和rosenfeld[101]提出利用图像函数的二阶偏导数进行角点检测。dreschler和nagel[43]寻找高斯曲率的局部极值。然而，基于图像函数二阶导数的角点检测器对噪声敏感。因此，fo¨rstner[62]开发了一种更加健壮、虽然耗时的角点检测器，该检测器仅基于一阶导数。著名的harris检测器（也称为plessey检测器）[135]实际上与之相反。参考文献[107]描述了fo-rstner检测器的应用，其中该检测器用于牙科植入物图像的配准。

​ Smith和Brady[173]在他们的稳健Susan方法中选择了更直观的方法。作为标准，他们使用与中央像素相同颜色的区域大小。trajkovic和hedley[192]设计了他们的操作符，使用的思想是，在各个角落的图像强度的变化应该在各个方向都很高。最近，Zitovaét al.[224]提出了一种参数化角点检测器，它不使用任何导数，用于处理模糊和噪声数据。Rohr等人设计的角点探测器，即使是3D数据，也允许用户交互[158]。

​ 检测点的数目可能非常高，这增加了配准所需的计算时间。一些作者提出了一种有效选择点子集（优于随机）的方法，这种方法不会降低结果配准的质量。goshtasby[71]仅使用属于整套凸面壳的点。lavine[104]提出用点构成集合的最小生成树。Ehlers[45]将点合并为“丛”（clumps）——大型密集簇。

3.3 总结

​ 综上所述==，如果图像包含足够多的显著且易于检测的对象，则建议使用基于特征的方法。==这通常是遥感和计算机视觉应用的情况。典型的图像包含很多细节（城镇、河流、道路、森林、客房设施等）。另一方面，医学图像中的细节信息并不丰富，因此通常采用基于区域的方法。有时，医学图像中缺少独特的对象是通过专家进行的交互选择或引入外部特征来解决的，这些特征相对于患者（皮肤标记、螺钉标记、牙科适配器等）是固定的。文献[151]分析了基于区域和基于特征的方法在不同对比度和锐度图像中的适用性。最近，同时使用基于区域和基于特征的方法的配准方法开始出现[85]。

4.特征匹配

​ 参考图像和感测图像中检测到的特征可以通过其邻近区域的图像强度值、特征空间分布或特征符号描述进行匹配。一些方法在寻找特征对应的同时，同时估计映射函数的参数，从而合并第二和第三配准步骤。

​ 在下面的段落中，根据匹配方法的基本思想，保留了两大类（分别是基于区域和基于特征的方法），并进一步分类为子类。

4.1 基于区域的方法

​ 基于区域的方法，有时称为类似相关的方法或模板匹配[59]将特征检测步骤与匹配部分合并。这些方法对图像进行处理而不试图检测显著的对象。在第二配准步骤期间，使用预定义大小的窗口或甚至整个图像来进行对应估计[4，12145]。

​ 基于区域的方法的局限性源于其基本思想。首先==，矩形窗口最常用，它适合于仅通过平移就可实现局部差异的图像配准==。如果图像通过更复杂的变换而变形，则这种类型的窗口无法覆盖场景中的相同部分参考和感测图像（矩形可以转换为其他形状）。有几位作者建议对相互旋转的图像使用窗的圆形。然而，如果图像之间存在更复杂的几何变形（相似性、透视变换等），则这种简单形状窗口的可比性也会受到破坏。

​ ==基于区域的方法的另一个缺点是窗口内容的“显著性”。==由于窗口的非显著性，包含无任何突出细节的平滑区域的窗口很可能与参考图像中的其他平滑区域不匹配。最好在图像的不同部分中检测用于配准的特征。窗口，其选择通常不基于其内容评估，可能没有此属性。

​ 经典的基于区域的方法，如互相关（cc）利用直接匹配图像强度，而无需任何结构分析。因此，它们对强度变化非常敏感，例如噪声、变化的照明和/或使用不同的传感器类型。

4.1.1 类相关方法

基于区域的方法的经典代表是标准化cc及其修改[146]。

​ 从感测图像和参考图像中计算窗口对的相似性度量，并搜索其最大值。达到最大值的窗口对被设置为对应的窗口（见图2）。如果需要亚像素级的配准精度，则需要使用cc测量值的插值。尽管基于cc的配准只能精确地对齐相互转换的图像，但当存在轻微的旋转和缩放时，它也可以成功地应用。

​ 对于几何上更变形的图像，cc有广义的版本。他们为每个假定的感测图像窗口的几何变换计算cc[83]，并且能够处理比平移通常的相似变换更复杂的几何变形。berthilsson[17]试图以这种方式配准甚至是仿射变形的图像，simper[170]建议使用分治系统和cc技术来配准因透视变化和由于镜头缺陷而变化的图像。然而，随着转换复杂度的增加，计算负荷增长得非常快。如果要配准的图像/对象被部分遮挡，则可以应用基于增量符号相关的扩展cc方法[98]。

​ 与cc方法类似的是序列相似性检测算法（ssda）[12]。它使用顺序搜索方法，和比cc更简单的计算距离度量。它累加图像强度值的绝对差之和（矩阵l1norm），并应用阈值准则，如果累加的和超过给定阈值，则拒绝来自参考图像和感测图像的候选窗口对，并测试下一对。这种方法可能比cc法精度低，但速度更快。文献[211]采用平方差和相似性测度，对分解成小块的图像进行分段仿射估计，迭代估计透视变形。

​ 近年来，基于相关比的方法在多式联运登记领域引起了极大的兴趣。与传统的cc方法相反，这种相似性度量方法可以处理由于使用不同传感器而产生的图像强度差异。它假设强度依赖可以用某种函数来表示。参考文献[154]将这种方法与为多模态数据开发的其他几种算法进行了比较。在具有一定特征的噪声图像（固定模式噪声）的情况下，分别使用累积图像行和列的基于投影的配准[27]优于经典的cc。

​ Huttenlocher等人[95]提出了一种与其他类型相似性度量相结合的方法。他们通过hausdorff距离（hd）来配准通过平移或平移加旋转变换的二值图像（边缘检测器的输出）。他们将基于hd的算法与cc进行了比较。尤其是在像素位置受干扰的图像上，对于cc来说是个问题，hd优于cc。

​ 相似性方法的两个主要缺点是相似性度量最大值的平坦性（由于图像的自相似性）和高的计算复杂度。最大值可以通过预处理或使用边缘或向量相关来锐化。pratt[145]在配准之前，应用图像滤波来改善噪声或高相关图像的cc性能。van wie[196]和anuta[6]采用了基于边缘的相关性，这种相关性是根据从图像中提取的边缘而不是原始图像本身来计算的。这样，该方法对参考图像和感测图像之间的强度差异也不太敏感。这种方法的扩展称为基于向量的相关性，它使用窗口的各种表示来计算相似度度量。

​ 尽管存在上述限制，但类似关联的配准方法仍然经常使用，特别是由于它们易于硬件实现，这使得它们对于实时应用非常有用。

4.1.2 傅里叶方法

​ 如果需要加速计算速度，或者图像是在变化的条件下获取的，或者图像被与频率相关的噪声所破坏，则优选傅里叶方法，而不是类似相关的方法。他们利用b.zitova，j.flusser/图像和视觉计算21（2003）977–1000 982图像在频域的傅里叶表示。相位相关法是基于fourier移位定理[23]提出的，最初是为了对翻译后的图像进行配准。它计算感测图像和参考图像的交叉功率谱，并寻找峰值的反向位置（见图2）。该方法对相关噪声和频率相关噪声以及非均匀时变光照干扰具有较强的鲁棒性。如果要配准的图像较大，则计算时间节省更为显著。

​ de Castro和Morandi[29]引入了相位相关的扩展，用于附加旋转变换。如果图像尺度的变化也存在，则可以使用光谱幅度的极对数映射（对应于傅里叶-梅林变换）和相位相关[31，150]或倒谱滤波器[107]的组合来配准图像。文献[31]描述了扩展算法在遥感（spot图像）和医学成像（mr图像）中的应用。在模拟条件下（眼底变形和噪声图像的配准）对该方法的准确性进行了测试，取得了令人满意的结果[34]。参考文献[210]利用相位相关和对数极坐标映射对图像进行了配准。参考文献[119]描述了相位相关在3d中的应用。文献[6]描述了利用傅里叶变换的另一个应用。作者建议在频域内计算相关系数。图2。基于区域的匹配方法：利用归一化互相关（中行）和相位相关（下行）将小模板配准到整个图像。最大值标识匹配位置。模板与参考图像具有相同的光谱带（左边的图形表示红色通道匹配）和不同的光谱带（右边的图形表示红色通道匹配）。在一般情况下，在多模态数据的情况下，归一化互相关可能会失败。

4.1.3 互信息方法

​ 互信息（mi）方法是本文要讨论的最后一组基于区域的方法。它们最近才出现，代表了多式联运登记的领先技术。多模态图像的配准是一项困难的任务，但往往需要解决，特别是在医学成像中。对病人身体的解剖和功能图像进行比较可以得出诊断结果，否则就不可能得到诊断结果。遥感也经常利用更多传感器类型的开发。

​ mi源于信息论，是两个数据集之间统计相关性的度量，特别适用于不同模式的图像配准。两个随机变量x和y之间的mi由 其中H x x2×Ex log p x x表示随机变量的熵，p x x是x的概率分布：该方法基于MI的最大化（图3），通常利用粗到精的分辨策略（金字塔方法）来实现配准的加速。

​ 最早提出这一技术的文章之一是Viola和Wells[201]。介绍了磁共振图像配准和三维物体模型与真实场景匹配的应用。MI采用梯度下降优化方法最大化。Venaz和Unser[186-188]试图结合各种方法，解决MI配准的各个步骤。他们采用Par禅窗进行联合概率计算和JeVeS方法〔187〕或Marquardt - Levenberg-Mead方法〔186〕以使MI最大化。为了加快计算速度，他们使用了样条金字塔图3。互信息：在马赛克新旧照片（顶行）之间p点附近计算的mi准则（底行）。最大MI显示正确的匹配位置（点A）。点b表示之前由人工操作员选择的错误匹配位置。这种错误是由于图像质量差和图像退化的复杂性造成的。B.Zitova，J.Flusser/图像和视觉计算21（2003）977–1000 984[188]。Ritter等人〔152〕采用分层搜索策略结合模拟退火算法求出MI的最大值。Studholme等人[177]比较了三种类似的信息依赖性度量：联合熵、mi和标准化mi（一种声称优于其他度量的新思想）。他们使用联合概率分布的离散直方图估计，而不是以前工作中使用的parzen窗口。Maximization是通过使用多分辨率爬山算法来实现的。他们配准了人脑的mr-ct和mr-pet图像。Maes等人[120]利用brent方法和powell多维方向集方法对mi进行优化，以配准通过相似性变换而不同的人脑mr、ct和pet图像。参考文献[162]描述了应用于乳腺mr图像的mi。利用仿射变换和基于样条的自由变形相结合的方法，对图像间的整体变形进行建模。likar和pernus[116]研究了不同的联合概率估计方法在肌肉纤维图像配准中的性能。参考文献[143]对基本mi配准与采用从粗到细加速的版本进行了比较。参考文献[142]描述了mi与包括归一化cc和梯度相关在内的六种其他配准方法的比较。在文献〔153〕中，利用极大似然估计的公式描述了MI与其它相似系数（相关系数、相关比）的关系。

​ 上述mi方法处理整个图像数据并直接处理图像强度。Rangarajan等人[149]对提取的特征（区域边界的点）应用mi，但这种方法仍然很少见。类似于信息论中的mi，是基于交叉熵的相似性度量[221]。

4.1.4 优化方法

​ 寻找相异性度量（罚函数）的最小值或相似性度量的最大值是多维优化问题，其中维数的大小对应于期望几何变换的自由度。产生全局极值解的唯一方法是对整个图像进行穷举搜索。虽然它需要计算，但如果只估计翻译，则通常使用它。

​ 在具有更多自由度的变换或更复杂的相似性度量的情况下，需要复杂的优化算法，这有助于分别定位最大值或最小值。参考文献[166]描述了高斯-牛顿数值最小化算法在最小化平方差和方面的应用，其中使用了射影几何变形。在文献〔201〕中，利用梯度下降优化方法找到了米河最大值。文献[164]采用levenberg-marquardt优化方法，使相应像素强度的方差最小。利用投影变换模型和镜头畸变模型对图像进行配准。参考文献[185]描述了Levenberg-Marquardt方法和平方差度量之和的组合。类似地，wolberg和zokai[211]使用这种组合来登记透视变形图像。powell的多维方向集方法[96]应用于maes等人。[120]。starink和backer[174]试图通过模拟退火最小化点对上定义的不同度量。文献[97]提出了另一种适用于多模态数据配准的优化方法，并结合mi和相关比证明了其适用性。同样，金字塔方法可以加快优化速度。

​ 这些优化方法有一点值得注意。有时，在相异度量项旁边，要最小化的公式包含所谓的正则化或惩罚项，它们将转换和要转换的数据互连起来[82]。这两项共同构成了与配准相关的成本函数（能量），优化方法的目标是将其最小化。在文献中，这种方法可以称为能量最小化方法。在刚体变换的情况下，通常省略正则化项，但在非刚体变换（如弹性或流体配准方法）中，存在第5节中更详细描述的正则化项。

4.2 基于特征的方法

​ 我们假设在由cps表示的参考和感测图像中检测到两组特征（点本身、端点或线特征中心、区域重心等）。其目的是利用它们的空间关系或各种特征描述找到它们之间的成对对应关系。

4.2.1 使用空间关系的方法

​ 如果检测到的特征模糊或邻域局部失真，通常采用主要基于特征间空间关系的方法。开发了cps之间的距离及其空间分布信息。

​ 文献[71]中goshtasby描述了基于图匹配算法的配准。他正在评估被感测图像中的特征数量，在特定变换之后，这些特征在参考图像中特征旁边的给定范围内。然后将得分最高的转换参数设置为有效的估计值。

​ Stockman等人提出的聚类技术。[175]尝试匹配由抽象边或线段连接的点。假设的几何模型是相似变换。对于来自参考和b.zitova™、j.flusser/图像和视觉计算21（2003）977–1000 985感测图像的每对cps，计算映射彼此点的变换参数，并将其表示为变换参数空间中的点。紧密映射最多特征数的变换参数往往会形成一个簇，而不匹配会随机填充参数空间。该方法检测聚类，并假设聚类的质心代表匹配参数的最可能向量。因此，映射函数参数可以与特征对应同时找到。局部错误不会影响全局配准过程。例如，在refs中实现了聚类技术。[30,72]。

​ Barrow等人[14]介绍了用于图像配准的切角匹配。图像中检测到的线特征通过广义距离的最小化进行匹配。borgefors[22]提出了一个改进的版本，其中应用了序列距离变换和均方根平均值的更好的对应度量。该算法还采用了金字塔加速。即使本综述不打算涵盖三维配准方法，这里也提到了由besl和mckay[18]引入的著名迭代最近点（icp）算法，因为它代表了配准三维形状（包括自由曲线和曲面）的关键方法。

4.2.2 使用不变描述符的方法

​ 作为利用空间关系的方法的替代方法，可以使用特征的描述来估计特征的对应关系，优选地是对预期的图像变形保持不变（参见图4）。说明图4。使用不变描述符的基于特征的方法：在这两幅卫星图像中，使用基于复矩的不变量匹配控制点（角点）[56]。数字识别相应的CP。下图显示了配准结果。b.zitova‘，j.flusser/图像和视觉计算21（2003）977–1000 986应满足几个条件。最重要的是不变性（参考图像和感测图像对相应特征的描述必须相同）、唯一性（两个不同的特征应该有不同的描述）。稳定性（对以未知方式轻微变形的特征的描述应接近原始特征的描述）和独立性（如果特征描述是向量，则其元素应在功能上独立）。然而，通常并非所有这些条件都必须（或可以）同时满足，因此有必要找到适当的折衷办法。

​ 将具有最相似不变描述的感测图像和参考图像的特征配对为对应的特征。不变描述类型的选择取决于图像的特征特征和假设的几何变形。在特征描述空间中寻找最佳匹配特征对时，通常采用带阈值的最小距离规则。如果需要更稳健的算法，可以更好地处理可疑情况的匹配似然系数[51]可以是适当的解决方案。Guest等人建议根据可能匹配的可靠性选择特征[80]

​ 最简单的特征描述是图像强度函数本身，仅限于特征的近邻[1107]。为了估计特征对应关系，作者计算了这些邻域上的cc。也可以使用其他类型的相似性度量。郑和Chellapa利用相关系数[219]。他们假设了相似的几何变形。在这种方法中，首先通过估计光源方向来补偿图像之间的旋转，然后进行基于粗到细相关的配准。在文献[223]中，mi用于改进特征对应。

​ 下面的引用是直观描述的示例，通常不满足上述不变描述符的一些条件。Sester等人[165]提出用最小包围矩形的伸长参数、紧致度、孔洞数和若干特征来描述森林作为区域特征。为了在星表中登记恒星，murtagh[133]为每一个点赋予了对周围其他特征空间分布的描述。文献[202]中的vujovic和brzakovic通过参与交叉的所有其他结构之间的最长结构和角度形成的特征来表示每个检测到的特征（细长结构交叉）。类似地，zana[218]通过相关相交线之间的角度来描述每个特征点。Montesinos等人[131]提出在检测到的cps附近使用图像函数的差分描述符。yang和cohen[216]使用由物体凸包生成的边界三角形并基于它们计算仿射几何不变量。

​ 许多作者使用闭合边界区域作为特征。原则上，在区域匹配中可以使用任意一个具有足够的不变性和可分辨性的形状描述符。peli[141]提出了一种简单快速的径向形状矢量描述方法，但该方法仅限于星型区域。文献[65180]提出了二元矩阵形式的广义形状描述。在文献[72]中，形状矩阵用于旋转和缩放卫星图像的配准。文献[112]提出了一种轮廓的链码表示方法作为不变描述，并采用链码相关度量来寻找对应关系。[171]用球度表示cps的非共线三元组。suk[178]提出了多边形表示区域的不变形状描述，并在文献[179]中进一步发展了这种方法。

​ 大量的方法使用基于矩的不变量来描述闭合边界区域的特征。考虑到最常见的假设变形，hu[93]在相似变换中引入了矩不变量。flusser和suk导出了仿射变换不变量[53]，并成功地将它们用于spot和landsat图像的配准[54]。holm[88]提取了闭边界区域，并提出用它们的周长、面积、紧性、矩和矩不变量来表示它们。Bhattacharya[20]建议应用复杂力矩。Brivio等人[24]利用惯性椭圆模拟山脉图像中的阴影结构。椭圆在这里由它们的面积、主轴的倾角和椭圆度来描述。所有这些属性都是矩的函数。Li等人[112]将前两个hu矩用作闭合轮廓匹配的预选器。候选匹配使用轮廓的链码表示进行测试。文献[35]中描述了类似的方法，其中矩不变量与链码一起使用。Sato和Cipolla[163]直接计算了当前几何变形的参数（期望使用仿射变换），而无需相应的估计，使用线特征方向的圆形分布矩。它们结合了图像的矩和尺度空间表示。最近，flusser和suk[55]提出了一类新的不变矩，它们对图像模糊具有不变性，并证明了它们在spot和avhrr卫星图像配准中的性能。Bentoutou等人[16]使用这些不变量配准相互移位和模糊的数字减影血管造影图像。flusser等人在文献[56]中通过引入组合的模糊旋转不变量进一步发展了这种方法。在文献[52]中，他们推广了先前的不变量来配准3d图像。

​ 不变组合特征的基本几何性质可以形成几何方向的描述子。Govindu等人[74]用轮廓点切线的斜率表示从可能旋转的图像中提取的轮廓。他们没有寻找轮廓b.zitova‘，j.flusser/图像和视觉计算21（2003）977–1000 987对应关系，而是只寻找提议的描述符的分布。通过比较参考图像和感测图像的对应分布，可以估计出图像的相互旋转。他们还为仿射变换导出了类似类型的描述符。参考文献[73]对所提出方法的实际方面进行了详细研究。Wang和Chen[205]计算了参考图像和感测图像中任意两条线段的线长比直方图和角度差直方图。他们假设了相似变换。Grffin和亚历克索普洛斯（77）使用最小围圆半径的比率，重心重心位置的差异，以及根据X轴和质心距离的角度对相邻的字典进行排序。这些方法都跳过了寻找特征对应关系的步骤，直接建立映射函数参数。

​ 谢等人。[91]使用在线特征点上计算的角度直方图来补偿旋转差。去除旋转差分后，利用cc方法找到特征点对应关系。他们将他们的旋转补偿与文献[219]中描述的进行了比较。

​ Shekhar等人[167]结合了不同类型的特征及其描述。他们将当前的几何变形分解为基本步骤，然后利用特征一致性估计变换参数，每种类型的特征描述子都投票选出相应的参数值。然后选择在所有描述符类型上最大化投票数的参数的值。

​ 文图拉等人[200]用各种描述符（椭圆度、角度、薄度等）描述图像特征，并用多值逻辑树（MVLT）表示它们之间的关系。然后比较参考图像和感测图像的mvlts，找出特征对应关系。参考文献[24]中也应用了mvlt和不变矩。

​ 不变描述子也可用于未进行先前特征检测且连续计算整个图像上滑动窗口的不变量的情况[55]。对于平移和旋转图像，goshtasby[66]提出从圆形窗口计算不变矩[93]，然后将cc准则应用于矩窗口表示。黄和霍尔（wong and hall）早前也采用了类似的想法[213]。除了基于矩的窗口描述外，他们还应用分层搜索策略来匹配雷达图像和光学图像。

4.2.3 松弛法

​ 作为一致性标记问题（clp）的解决方案之一，大量的配准方法是基于松弛方法的：用来自参考图像的特征的标签标记来自感测图像的每个特征，因此它与给其他特征对的标签一致[130]。考虑到特征对的匹配质量和邻域的匹配质量，重新计算特征对优值图形的过程被反复重复，直到达到稳定的状态。参考工作由Ranade和Rosenfeld完成[148]。这里，通过某种几何变换变换的特征集的位移定义了特征对的优点图。该方法能处理位移图像，并能容忍局部图像失真。

​ Wang等人[204]通过包含角特征的描述扩展了经典松弛。他们使用角的锐度、对比度和坡度。该算法允许处理图像中的平移和旋转失真，但计算量很高。medioni和nevatia[128]使用了线特征及其描述符（坐标、方向、平均对比度）。Cheng和Huang[33]提出了一种基于星的配准方法，该方法考虑了单个特征点以及与邻居的所有链接。Ton和Jain[190]通过整合MergeSort概念加快了算法的速度。他们的方法适用于移位和旋转的图像。例如，Cheng[32]、Ogawa[136]和Li[113]提出了基于松弛的方法，即使对于相似变换图像也是如此。文献[147]比较了不同的松弛方法。

​ 另一种解决clp问题和图像配准的方法是回溯法，在回溯法中以递归的方式生成一致的标签。文献[130]描述了一种基于回溯的配准方法。

4.2.4 金字塔与小波

​ 最后，我们讨论了基于金字塔方法的特征匹配问题，提出了一些基于金字塔方法的特征匹配算法。

​ 第一次尝试是在1977年。vanderbrug和rosenfeld集中精力研究窗口对测试所需的计算量。在参考文献[197]中，他们首先使用子窗口在参考图像中找到对应窗口的可能候选对象，然后应用全尺寸窗口。他们讨论了子窗口大小的适当选择以最小化预期的计算成本。在参考文献[160]中，他们建议首先在较粗分辨率下使用感测图像和参考图像，然后在误差较小的位置上匹配较高分辨率的图像。Althof等人[4]提出了只取一个稀疏的规则窗口网格来进行互相关匹配，从而减少必要的计算量。这些技术是金字塔方法的简单例子。

​ 一般来说，这种从粗到细的分层策略应用了通常的配准方法，但它是从参考图像和粗略分辨率的感测图像（使用高斯金字塔、简单平均或小波变换系数等生成）开始的。然后，它们逐渐提高了对b.zitova，j.flusser/图像和视觉计算21（2003）977–1000 988的对应关系或映射函数参数的估计，同时提高了分辨率。在每个层次上，它们都大大减少了搜索空间，从而节省了必要的计算时间。另一个重要的优点在于，首先实现与大规模特征相关的配准，然后对更精细的细节进行小的校正。另一方面，如果在较粗的级别上识别出错误匹配，则此策略将失败。为了克服这个问题，应该在算法中加入回溯或一致性检查。

​ 将cc与利用求和金字塔（较粗级别的像素值对应于上一级别的像素值之和）、中值金字塔和平均金字塔的金字塔方法相结合，在参考文献中提出。分别为[37208219]。Wong和Hall[214]将SSDA方法与金字塔加速相结合。Wang和Chen[205]在每个分辨率级别提取特征（闭合边界区域的质心），并从角度差直方图和线长比直方图中找到几何变形参数，如上所述。Venaz等人将三次样条基金字塔应用于图像（184）和MI最大化（187）之间的均方强度差的最小化。sharma和pavel[166]使用多分辨率拉普拉斯金字塔进行红外和雷达图像配准。Kumar等人[102]将不同类型的金字塔（拉普拉斯金字塔，高斯金字塔）与不同的相似性度量（cc，平方差之和）结合起来，来配准空中视频序列。参考文献[169]使用了应用于金字塔方案的非线性最小最大滤波器。

​ 近年来，由于金字塔方法固有的多分辨率特性，人们推荐对图像进行小波分解。方法可以在应用的小波类型和用于寻找对应关系的小波系数集合方面有所不同。最常用的方法是将图像递归地分解为四组系数（l l、hl、l h、hh），方法是使用两个滤波器（低通滤波器l和高通滤波器h）依次对图像进行滤波，这两个滤波器都沿着图像行和列工作。

​ Turcajova和Kautsky[193]在点的规则网格上测试了各种正交和双正交小波（它们使用LL系数）和CC，以配准仿射变换图像。样条双正交小波和haar小波的性能优于其它小波。丰塞卡和科斯塔（58）检测到LH和HL系数的模极大值，并寻找相关系数的最大值，从检测到的最大值的小环境中的LL系数计算。Djamdji等人[41]仅使用hh系数。le moigne[105]应用daubechies小波对landsat图像和avhrr数据进行了配准。他们提取了lh和hl频率系数，并通过cc找到了对应关系。Liu等人[118]提出了gabor小波变换和高斯模型在配准残差中的应用。你和BHaTajaya〔217〕使用小波系数的最大紧致模糊集作为特征和HD作为相似性度量。文献[176]研究了利用daubechies和haar小波进行配准的鲁棒性。

4.2.5 总结

​ 当图像没有许多显著细节并且区别信息由灰度/颜色而不是由局部形状和结构提供时，优选地应用基于区域的方法。基于区域的方法有两个主要限制。参考图像和感测图像必须具有某种“相似”的强度函数，要么相同（然后可以使用类似相关的方法），要么至少具有统计依赖性（这通常发生在多模态配准中）。

​ 从几何角度看，使用基于区域的方法时，只允许图像之间的偏移和小旋转（虽然基于区域的方法可以推广到全旋转和缩放，但由于计算量极大，实际上没有意义）。为了加速搜索，基于区域的方法经常使用金字塔图像表示和复杂的优化算法来寻找相似矩阵的最大值。

​ 当局部结构信息比图像强度所携带的信息更重要时，通常采用基于特征的匹配方法。它们允许配准完全不同性质的图像（如航空照片和地图），并可以处理图像之间的复杂失真。基于特征的方法的共同缺点是各自的特征可能难以检测和/或在时间上不稳定。所有基于特征的匹配方法的关键是要有对图像之间的所有假设差异都保持不变的、有区别的、鲁棒的特征描述子。

5.变换模型估计

​ 建立特征对应关系后，构造映射函数。它应该变换感测图像，将其覆盖在参考图像上。在映射函数设计中，利用感测图像变换后，感测图像和参考图像的cp对应关系以及对应的cp对应尽可能接近的事实。

​ 要解决的任务包括选择映射函数的类型（见图5）及其参数估计。映射函数的类型应与感测图像的假定几何变形、图像采集方法（如与扫描仪相关的畸变和误差）和所需的配准精度（误差分析B.Zitova’参考文献[48]介绍了flusser/image and vision computing 21（2003）977–1000 989用于刚体点配准。

​ 在特殊情况下，当几何变形部分已知时，例如当存在由采集装置和/或场景几何形状引起的失真的模型时，可以基于变形的逆进行预校正（例如，参考文献中）。[94168181]，作者模拟了地球的形状和旋转，卫星轨道和传感器的扫描几何结构）

​ 映射函数模型根据其支持的图像数据量可分为两大类。全局模型使用所有cps来估计一组对整个图像有效的映射函数参数。另一方面，局部映射函数将图像视为一组块，其函数参数取决于它们在图像中的支持位置。它导致图像的细分，通常是三角剖分，并分别定义每个面片的映射函数参数。

​ 从另一个角度看，映射函数可以根据用于计算参数的cps的叠加精度进行分类。插值函数精确地将感测图像CPS映射到参考图像CPS上，而近似函数试图找出最终映射的精度与施加于映射函数的特征的其他要求之间的最佳折衷。由于CP坐标通常不精确，近似模型更为常见。

5.1 全局映射模型

最常用的全局模型之一是使用低阶的二元多项式。相似变换是最简单的模型，它只包括旋转、平移和缩放。

该模型通常被称为“保形映射”，因为它保留角度和曲率，并且由两个CP明确确定。

更一般但仍然是线性的模型是仿射变换

它可以把一个平行四边形映射到一个正方形上。该模型由三个非共线cps定义，保持直线和直线平行。假设摄像机到场景的距离比扫描区域的大小大，摄像机是完美的（针孔摄像机），场景是平坦的，并且当前的几何失真没有局部因素，则可以用于多视图配准。

​ 如果摄像机与场景的距离条件不满足，则透视投影模式

应该使用。该模型精确地描述了由针孔照相机拍摄的平面场景的变形，该针孔摄像机的光轴不垂直于场景。它可以将一般四边形映射到正方形上，同时保留直线，由四个独立的cps确定。

轻微违反这些假设可能导致使用二阶或三阶多项式模型。在实际应用中，通常不使用高阶多项式，因为当与参考图像对齐时，它们可能不必要地在远离cps的区域扭曲感测图像。

一般来说，cps的数目通常高于确定映射函数所需的最小数目。然后用最小二乘法计算映射函数的参数，使多项式在cps处的平方误差之和最小。这样的映射函数并不能将cps精确地映射到对应的cps上。这种方法被证明是非常有效和精确的卫星图像，例如

5.2 局部映射模型

​ 然而，全局多项式映射不能很好地处理局部变形的图像。例如，在医学成像和航空成像中都会发生这种情况。最小二乘法是在整个图像上均匀地求出局部几何畸变的平均值，这是不可取的。图像的局部区域应使用有关局部几何畸变的可用信息进行配准。

​ 一些作者已经证明了在这种情况下，本地或至少本地敏感的配准方法优于全局方法（Goshtasby[69]、Ehlers和Fogel[46]、Wiemker[209]和Flusser[50]等）。加权最小二乘法和加权平均法[69]通过在原始最小二乘法的基础上引入微小的变化来获得局部配准图像的能力。称为分段线性映射[67]和分段三次映射[68]的局部方法，以及Akima的五次方法[209]，应用基于CP的图像三角剖分和每个在一个三角形内有效的局部映射函数集合的组合。这些方法属于插值方法的一类。

5.3 径向基函数映射

​ 径向基函数是一组全局映射方法的代表，但它们能够处理局部变化的几何畸变。所得到的映射函数具有平移的径向对称函数与低次多项式的线性组合形式

对于v，也同样如此：

​ 它们最初是为不规则曲面的插值而开发的。它们的名字“radial”反映了函数值在每个点的一个重要性质，它只取决于点到cps的距离，而不是它的特定位置。多二次函数、倒数多二次函数、高斯函数、温德兰函数和薄板样条是用于图像配准的径向基函数的几个例子。

​ 文献[46]描述了多二次曲面在航空遥感中的应用，以及与三阶多项式方法的比较。参考文献[209]给出了其与Akima方法的比较。多二次曲面的医学应用见文献[117]。文德兰在医学图像配准中的作用见文献[60]。这些函数的全局影响很小，即使是显著的局部变形也可以通过这种方法得到很好的记录。此属性有利于配准主要发生在本地的医学图像。

​ 径向基函数最常用的代表是薄板样条（tps），其中径向项的形式为

（有关各自的数学背景，请参见Duchon[44]和Wahba[203]）。尽管它们已经在机械和工程领域应用了几十年[84]，但它们是由grimson[78]和bookstein[21]引入图像分析社区的。tps可被视为非常薄的板，固定在参考图像中由cps确定的位置，其高度由感测图像中相应cps的x或y坐标给定[70]。tps最小化了势能的二次变分函数，它反映了函数的变分量，对于一个好的映射函数，它应该很小。可以考虑配准的类型：精确插值（70）、近似（159）或广义近似，考虑到各向异性地标误差（157）是可能的。文献[156]对基于tps的医学图像配准进行了全面的研究。

​ tps配准虽然取得了很好的效果，但计算过程可能非常耗时，即如果cps的数目很高。在保持合理精度的同时，对降低TPS评价复杂性的方法也给予了相当的重视。FLUSER〔50〕提出了用简单函数对B. Zitova、J. Flusser /图像和视觉计算21（2003）977～1000个991平方或三角形区域进行TPS的自适应逼近。Beatson和Newsam[15]采用了Greengard[75]的早期方法，用于径向函数的多极展开。powell[144]通过tps列表减少了计算成本。Barrodale等人[13]注重tps系数的快速稳健计算。

​ 许多文献都讨论了薄板样条函数和其他映射函数的性能比较。在参考文献中。[57,70209]在配准航空图像时，将它们与多项式和多二次曲面进行比较。参考文献[8]对tps与高斯径向基函数和考虑其局部性质的多二次曲面进行了比较。结果表明，tps作为图像配准的映射函数具有良好的性能，而其他径向基函数则更适合于图像的翘曲变形等应用[8]。

​ tps并不是用于映射函数设计的样条族的唯一代表。转换的三次B样条的线性组合用于回波平面图像的配准[103]。另一种基于样条的函数，弹性体样条（ebs）在[39]中被提出。它是由均匀各向同性弹性材料在荷载作用下的平衡位移描述发展而来的。图像数据中的人体组织往往具有弹性材料的特性。ebs用于胸部三维mri图像的配准。作者声称，在他们的实验中，ebs的表现优于tps。

5.4 弹性配准

​ 对于具有相当复杂和/或局部畸变的图像，另一种方法是不使用任何参数映射函数，其中几何变形的估计被简化为搜索“最佳”参数。bajcsy等人提出了这个想法。[10]通常称为弹性配准。

​ 图像被视为橡胶片的一部分，在橡胶片上施加拉伸图像的外力和由刚度或平滑度约束定义的内力，使其以最小的弯曲和拉伸量对齐。同时完成了配准的特征匹配和映射功能设计步骤。这是弹性方法的优点之一，因为不知道对复杂变形具有不变性的特征描述子，用传统方法很难建立特征对应关系。通过迭代定位最小能量状态来实现配准。通常采用金字塔方法。外力可以从相似函数的局部优化中导出，相似函数由强度值或边界结构的对应关系等定义。在文献[140]中，使用了无外力，并将由边界结构对应关系导出的规定位移并入弹性图像变形中。

​ 弹性配准的缺点是在图像变形非常局部化的情况下。这可以通过流体登记来处理。流体配准方法利用粘性流体模型来控制图像的变换。在这里，参考图像被建模为在高斯传感器模型的导数控制下流出以匹配感测图像的稠流体。这种方法主要用于医学应用[25]。这种方法的缺点是在配准过程中引入模糊。lester和arridge[110]提出用流体模型来寻找cps的对应关系，然后用薄板样条来处理变换。三种基于fluibdase的配准方法的比较可以在参考文献[212]中找到。

​ 非刚性方法的另一个例子是基于扩散的配准、水平集配准和基于光流的配准。扩散配准将对象轮廓和其他特征作为膜处理，设置几何约束。参考文献[189]描述了这种方法的三种变体。安德森和尼尔森提出了不同的解决方案[5]。Vemuri等人[199]引入了基于水平集演化的弹性配准方法，该方法沿着水平集各自的法线移动。最后，光流方法最初是由估计图像之间的相对运动来驱动的[19]。光流量登记的类别涵盖了非常多的方法，超出了本次调查的范围。

6.图像重采样与变换

​ 在前一步骤中构造的映射函数用于转换感测图像，从而配准图像。这种转变可以向前或向后实现。利用所估计的映射函数，可以直接对感测图像中的每个像素进行变换。这种方法称为前向方法，实现起来很复杂，因为它可以在输出图像中产生孔洞和/或重叠（由于离散化和舍入）。因此，通常选择向后的方法。使用目标像素的坐标（与参考图像的坐标系相同）和估计的映射函数的逆来确定来自感测图像的配准图像数据。图像插值在规则网格上的感测图像中进行。这样，在输出图像中既不会出现孔也不会出现重叠。

​ 插值本身通常是通过图像与插值核的卷积来实现的。最优插值二维sinc函数由于其无穷大的范围，在实际中很难实现。因此，文献中研究了许多简单的有界支撑插值。为了减少计算量，优选地考虑了可分离的插入元。可分离性使得可以用快得多的m_1_1d卷积代替m_m 2d卷积。

​ 最近邻函数、双线性函数和双三次函数（见图6）、二次样条函数[42191]、三次b splines函数[89]、高阶b样条函数[108]、catmull-rom基数样条函数[100184]、高斯函数[7]和截断sinc函数[182]属于最常用的插值函数。Meijering等人[129]研究了高阶多项式核（五次核和化感核）。然而，他们的实验显示，与三次插值相比，在计算成本高的情况下，只有微小的改进。

​ 在过去几年里，发表了几篇关于重采样技术的调查论文。对文献[138]中关于二维图像和文献[76]中关于三维数据的方法进行了详细的研究和比较。Thevenaz等人[182]注意消除不需要的插值伪影。雷曼等[109]发表了一篇综述文章，介绍了主要的插值方法（各种版本的sinc函数、最近邻、线性、二次、三次、三次b样条、拉格朗日和高斯核），重点介绍了医学成像应用。他们使用空间和傅立叶分析比较它们，并测试了计算复杂度以及插值误差。最近，thevenaz等人。[183]提出了一种不同的图像重采样方法。与其他方法不同，它们的重采样函数不一定插值图像灰度。它们相当于插值作为灰度的某些函数计算的值。作者证明了这种方法优于传统的插值技术。

在大多数情况下，由于重采样图像中的伪影而避免。唯一的例外是当要转换的图像包含低强度的数量时，我们不希望通过高阶插值引入“合成”灰度/颜色。尽管双线性插值在变换图像的精度和视觉外观方面优于高阶方法，但它提供了准确度和计算复杂度之间的最佳折衷，因此它是最常用的方法。当几何变换涉及到感测图像的显著放大时，建议使用三次插值。最近邻插值应如图6所示。图像插值方法：使用最近邻（右上）、双线性（左下）和双三次（右下）三种不同的插值技术将原始图像（左上）放大五倍。

7==.图像配准精度评价==

​ 无论特定的图像、使用的配准方法和应用领域如何，都非常希望向用户提供配准实际准确度的估计。准确度评估是一个非常重要的问题，部分原因是在每个阶段的配准过程中误差都会被拖入，部分原因是很难区分配准不准确度和图像内容的实际物理差异。在这一节中，我们回顾了测量配准精度的基本误差类别和方法。

​ 定位错误。cp坐标因检测不准确而产生的位移称为定位误差。定位误差是检测方法的固有误差，不能直接在给定的图像上测量。然而，从计算机模拟研究和地面真实性比较来看，大多数cp检测方法的平均精度是已知的。这可用于在特定情况下估计期望的定位误差。定位误差可以通过为给定数据选择“最优”特征检测算法来减小，但通常在检测到的候选cp数目和平均定位误差之间存在折衷。有时我们更希望有更高的定位误差，而不是只有少数，但更准确地检测。

​ 匹配错误。在建立候选cp之间的对应关系时，匹配误差是通过错误匹配的数量来度量的。这是一个严重的错误，通常会导致配准过程失败，应该避免。幸运的是，在大多数情况下，它可以通过稳健的匹配算法来保证。通过一致性检查可以识别错误匹配，其中两种不同的匹配方法应用于同一组候选cp。只有这两种方法找到的对才被认为是有效的cp对，其他候选点被排除在进一步的处理之外。如果没有其他可靠的匹配方法，则可以通过交叉验证来识别错误的cp对。在每个步骤中，我们从cp的集合中排除一对，并计算映射参数（例如平移向量和旋转角度）。然后我们检查排除的点在这个模型中映射到另一个点的效果。如果它们的位移低于给定的阈值，则它们被视为有效的cp对。

​ 对准错误。通过术语对齐误差，我们表示用于配准的映射模型与实际图像几何失真之间的差异。由于两个不同的原因，在实际应用中经常出现对中误差。所选映射模型的类型可能与实际失真不对应，并且/或者模型的参数未精确计算。前一种情况是由于缺少关于几何畸变的先验信息，而后一种情况则是由于cp和/或其定位误差的数量不足。

​ 对准误差可以用几种方法评估。最简单的测量方法是cp（cpe）的均方误差。虽然常用，但它并不是很好的对准误差测量方法。实际上，它只量化了所选映射模型对cp坐标的拟合程度。对于任何cp集，只要选择一个具有足够自由度的映射模型就可以达到零cpe（这种众所周知的现象在数值分析中称为“过度拟合”）。另一方面，大的cpe可能是由cp定位误差引起的，并不一定反映出较差的配准精度。

​ 与cpe非常相似的是所谓的测试点误差（tpe）。测试点是故意从映射参数计算中排除的CP。不能通过过度拟合将tpe设置为零，这使得tpe比cpe更有意义。然而，测试点的定位误差可能会对测量产生负面影响。只有当有足够数量的CP可用时，才能使用此方法。否则，排除几个cp可能导致对映射参数的不准确估计。在医学应用中，cp可能远未引起人们的注意。因此，Fitzpatrick等人[47,49]建议检测感兴趣区域内的解剖点，并将其用作测试点（称为“目标点”）。TPE的概念可以扩展到测量相应“测试”线或表面之间的距离[134139]。

​ 另一种估计对准精度的方法是使用多个线索进行一致性检查。在这里，通过所述方法配准的图像（通过图像空间中的适当度量）与通过另一比较方法配准的相同图像进行比较。作为比较方法，我们优选地使用“金标准方法”，这是一种通常认为在特定应用领域或给定图像类型中是最好的方法（金标准方法然后扮演类似于地面真实性的角色）。这种方法常用于医学成像[47207]。在不存在任何金本位的应用领域，如遥感、计算机视觉和工业检验，我们采取比较方法任何不同性质的方法。然后，配准结果之间的微小差异表明（尽管不能保证）良好的配准精度。

​ 当至少两个感测图像的集合配准到同一参考文献[34、63、87215]时，可以使用不同的一致性检查。感测图像也可以使用同一组cp在它们之间进行配准，这提供了另一组映射参数。利用b.zitova，j.flusser/image and vision computing 21（2003）977–1000 994映射传递性，我们得到了每个感测图像的两组映射参数，即两个配准图像，理论上应该是相同的。测试点的位移可以作为质量测量。

​ 最后，应该提到由领域专家进行的最古老的配准精度估计视觉评估方法。它仍在使用，至少作为上述客观误差措施的补充。

​ 配准算法的精度估计是配准过程的重要组成部分。没有定量的评价，就不能接受登记方法的实际应用。在验证刚体配准方面已经做了大量工作（最全面的案例研究可能是范德比尔特大学项目[207]），而非线性、局部和弹性配准方法的验证仍处于起步阶段。

8.当前趋势和未来展望

​ 图像配准是集成和分析各种信息源的重要任务之一。它是图像融合、变化检测、超分辨率成像、建筑图像信息系统等领域的一个关键阶段。本文对经典的和最新的配准方法进行了综述，根据它们的性质以及四个主要的配准步骤对它们进行了分类。虽然已经做了很多工作，但是图像的自动配准仍然是一个有待解决的问题。具有复杂非线性和局部畸变的图像的配准、多模态配准和n-d图像的配准（其中n。2）属于目前最具挑战性的任务。

​ 在对具有非线性、局部相关几何畸变的图像进行配准时，我们面临着两个基本问题：如何匹配cps和使用什么样的映射函数进行配准。第二个问题至少在理论上可以用适当的径向基函数来求解，但由于其性质，第一个问题一般是不可解的。由于图像之间的变形是任意的，我们不能使用任何自动匹配方法。这里的另一个概念问题是如何区分图像变形和场景的真实变化。

​ 在多模式配准中，mi技术已成为一种标准的参考，主要应用于医学成像。然而，作为一种基于区域的技术，mi具有主要的局限性。为了克服这些问题，一些作者将mi与其他方法（最好是基于特征的方法）相结合，以获得更高的鲁棒性和可靠性。为了加快计算速度，他们经常采用金字塔图像表示和快速优化算法。不幸的是，当图像具有显著的旋转和/或缩放差异时，这些方法要么失败，要么变得非常耗时。基于特征的方法是该领域未来的发展方向，适当的不变量和模态不敏感特征可以为配准提供良好的平台。此外，我们相信，利用特定传感器特性的新的特定于应用的方法将很快出现在遥感中。

​ N-D图像配准的主要困难在于其计算复杂度。虽然计算机的速度一直在增长，但仍然需要减少方法的计算时间。方法的复杂性以及数据的大小仍在增长（更高分辨率、更高维度、更大的扫描区域大小）。此外，更高的鲁棒性和配准精度的需求通常利用迭代或回溯来强制解决方案，这也增加了该方法的计算复杂度。

​ 在未来，最终配准方法的思想，能够识别给定任务的类型，并自行决定最合适的解决方案，可以推动专家系统的发展。它们将以各种方法的组合为基础，寻求对特定结果的共识。