【计算机视觉】图像配准(Image Registration)

(Source:https://blog.sicara.com/image-registration-sift-deep-learning-3c794d794b7a)

 图像配准方法概述

图像配准广泛用于遥感，医学图像，计算机视觉等。通常，它的应用根据图像获取方式主要分为四组：

1. 不同视角(多视角分析)——从不同视角获取同一场景图像。其目的是为了获得更大的2D视图或者扫描场景的3D表示。应用示例：遥感-被检区域图像的拼接。计算机视觉-形状恢复(立体形状)。
2. 不同时间(多时分析)——从不同时间获取同一场景图像，通常是定期的，可能在不同条件下。其目的是找到和评价连续获得的图像之间场景的改变。应用示例：遥感-全球土地使用监督，景观规划。计算机视觉-安防自动改变检测，运动追踪。医学图像-愈合治疗监督，肿瘤进展监督。
3. 不同传感器(多模态分析)——从不同传感器获得同一场景图像。其目的是整合不同来源的信息来获得更复杂更细节的场景表示。应用示例：遥感-不同特征传感器信息融合，如有更好空间分辨率的全色图像，有更好光谱分辨率的彩色/多光谱图像，或与云层和光照无关的雷达图像。研究结果可应用于放射治疗和核医学领域。
4. 场景到模型的配准。一个场景的图像和场景的模型配准。模型可以是场景的计算机表示，例如GIS中的地图或数字海拔模型(DEM)，有相似内容的另一个场景，'平均'标本等。其目的是在场景/模型中定位获得的图像，并且/或者比较它们。应用示例：遥感-航空或者卫星数据到地图或者其它GIS层的配准。计算机视觉-目标模板匹配实时图像，自动质检。医学图像-病人图像和数字解剖集的比较，标本分类。

　　由于配准图像的多样性和各种类型的退化，不能设计出适合所有配准任务的通用方法。每种方法不仅要考虑图像之间假定的几何变形类型，还要考虑辐射变形和噪声损坏，所需配准的准确率和应用数据特征。

　　尽管如此，配准方法主要包含以下四步(图1):

• 特征检测。手动或者可能自动检测显著和独特的对象(闭合边界区域，边缘，轮廓，交线，角点等)。为了进一步处理，这些特征可以通过点来表示(重心，线尾，特征点)，这些点称为控制点(CP)。
• 特征匹配。建立场景图像和参考图像特征之间的相关性。使用各种各样的特征描述符，相似性度量，连同特征的空间相关性。
• 转换模型估计。估计将感测图像和参考图像对齐的所谓映射函数的类型和参数。映射函数的参数通过特征相关性计算。
• 图像重采样和转换。使用映射函数转换感测图像。使用合适的插值技术计算非整数坐标的图像值。

图1：图像配准四个步骤：上-特征检测。中-通过不变的描述符来特征匹配。左下-利用建立的相关性估计转换模型。右下-用合适的插值技术进行图像冲采样和转换。

　　每个配准步骤的实现都有自己典型的问题。首先，必须决定哪种特征适合给定的任务。特征应该是有鉴别性的目标，并且在图像上广泛存在以及容易检测。通常，特征的物理可解释性是需要的。参考图像和感测图像上的特征必须有足够相同的元素，甚至在图像没有准确地覆盖同样的场景或者有物体阻挡又或者其它的改变的情况下。检测方法应该有好的定位准确性，并且应该对假定的图像退化不敏感。理想情况下，算法能在场景所有投影情况下检测到同样的特征，不管特定的图像变形。

　　在特征匹配步骤，由不正确的特征检测或者图像退化造成的问题可能就出现了。由于不同的图像条件或者传感器的不同光谱敏感性，物理上的相关特征可能是不相似的。特征描述和相似性衡量的选择必须考虑到这些因素。对于假定的退化特征描述符应该是不变的。同时，它们必须有足够的可鉴别性来区分不同特征以及足够的稳定性，为了不被轻微的特征变化和噪音