《Normalized Total Gradient: A New Measure for Multispectral Image Registration》论文解读

摘要

对于多光谱相机，不同波段图像之间可能存在本质差异，局部对比度不一致甚至相反。常规办法可以将图像与不同的区域强度水平对齐，但是局部强度严重变化的情况可能失败。本文提出一种归一化总梯度的新方法，用于多光谱图像配准。该方法基于关键假设（key assumption），即对齐的波段图像之间的差异梯度比两个未对齐的图像之间的梯度更稀疏。进一步介绍了一种结合了图像金字塔和全局/局部优化的配准框架用于仿射变换。

索引词——多光谱图像、多模态图像、图像配准、波段图像、相似性度量、图像梯度、归一化总梯度、仿射变换、图像金字塔、优化。

一、引言

多光谱成像系统： 多光谱相机成像系统由相机和分光设备建立，分光设备包括电子控制的可调谐滤光片【1-2】，或者机械控制的滤光轮【3】。图1显示了一个多光谱成像系统，由一个单色数码相机和一个安装了一系列光学滤光片的滤光轮组成。
成像系统存在的问题： 基于滤光轮的多光谱成像系统通常存在图像失准和失焦模糊的问题，波段图像之间的未对准是由滤波器 【3-4】非共面放置引起的，另一方面，离焦模糊是由各个波段的不同有效焦距引起的，已经采用自动对焦方法【5】来使用对焦设备（即步进电机）计算镜头的焦点位置。

图像配准： 通过最大化特定相似性度量来找到两个图像之间的对应关系。 在【7-8】中可以找到对配准技术的广泛调查。配准技术可以分为两类：基于特征的一类和基于强度。

基于强度配准方法的缺陷： 不同波段图像同一区域的强度可能有本质不同。根据【14】当不能使用有效相似性度量时，该配准方法无法处理多光谱或多模态图像中结构不一致性的情况。

提出的方法： 本文提出了一种新的基于强度的方法，引入归一化总梯度（NTG）应用于两幅图像之间的差异，该度量基于两个对齐图像之间的差异图像的梯度比两个未对齐图像之间的梯度更稀疏。

算法流程： 结合了图像金字塔和全局/局部优化，用于一般仿射变换。如图3（a）所示（第三节详细讨论）。

主要的贡献总结：

1. 引入NTG作为配准度量
2. 提出一个由金字塔和全局/局部优化组成的框架用于配准
3. 除了多光谱图像，配准框架也适用于单模和多模图像

论文结构： 第二节回顾了多光谱/多模态图像配准的相关工作。 NTG 度量在第三节中介绍，图像配准框架在第四节中描述。 第五节展示了实验结果，第六节展示了所提出的图像配准方法的应用。 最后，第七节总结了本文。

二、配准相关工作

基于强度的图像配准可以分为单模态和多模态图像配准，根据相应像素是否具有相似的强度值来判断。 从这个意义上说，多光谱图像配准属于多模态配准范畴。

A. 互信息（MI）

略

B. 相关性（CR）

略

C. 局部归一化互相关（NCC）

引入原因： MI 和 CR 是基于全局强度的配准方法，引入了局部归一化互相关 (NCC) [10] 来局部测量两个模态图像之间的对应关系。
原理： 基于方向导数能量图（directional derivative energy maps）局部线性相关的假设，NCC 可用于测量两个多模态像素块之间的相似性。
存在的问题： 由于并非所有patch都满足这一假设，因此在构建全局损失函数时，【10】 中采用了基于 Hessian 的内置异常值拒绝机制（outlier rejection mechanism）。
最近引入了一种称为鲁棒选择性归一化互相关 (RSNCC) 【14】 的 NCC 变体，以解决多光谱和自然图像的密集匹配问题。 为了处理结构不一致和显着的梯度变化，设计了一个健壮的函数来平衡强度和梯度之间的局部归一化互相关。

D. 残差复杂度（RC）

引入： 我们提出的NTG在测量差异图像的复杂度方面与【21】密切相关。结果表明，两幅图像对齐时，RC的复杂性降到最低。
原理： RC是通过测量差分图像的离散余弦变换（DCT）的稀疏性来计算的
存在的问题： 然而不同模态图像不能保证DCT稀疏的稀疏性。原因是在多模态情况下，两个对应区域的强度在配准时在差异图像中不会相互抵消。 与 RC 相比，所提出的 NTG 测量了差分图像梯度的稀疏性。 通过采用梯度，残差强度与其邻居相抵消，因此多模态对稀疏度测量的影响较小。

E. 相位相关 (PC)

引入： PC 是一种众所周知的基于 FFT 的单峰图像配准技术 [22]，并且通过将多模图像的梯度/边缘作为输入 [23] 已扩展到覆盖多模图像。
原理： 假设两个多模态图像的梯度是全局相位相关的，相位相关技术可以快速找到两个多模态图像之间的刚性变换。
存在的问题： 在多光谱图像配准的情况下，空间对比度差异可能违反全局相位相关假设。 此外，PC不适用于非刚性变形（例如仿射变换）

三、 归一化总梯度 (NTG)

自然图像梯度的稀疏性已广泛应用于单图像去模糊[24]、去噪[25]和修复[26]。 多光谱图像的统计数据也被用于有效的图像表示[27]。 本文探索了在差分图像上计算的梯度稀疏特征用于多光谱图像配准。

A. 稀疏性

验证差分图像梯度的稀疏性假设： 采用多光谱图像数据库 [27]，每个多光谱图像由 31 个波段图像组成（420 nm 到 720 nm 的可见光谱），被归一化为 [0,1] 范围。 所有多光谱图像最初都是对齐的，施加位移来生成未对齐的多光谱图像。使用 560 nm 的波段图像作为参考图像，因为它通常受噪声影响较小。

结论： 上图显示了当施加位移（Δx = Δy）从 0 到 8 个像素变化时差异图像的梯度分布。当两幅图像逐渐对齐时，差异图像中的零梯度会更多，而大梯度会更少。 在完美对齐的情况下，梯度的分布是最多余的。 结果，对齐的差异图像的梯度的绝对和小于未对齐的差异图像的梯度的绝对和，可以表述为：

使用L1正则：

TG： L1 范数对差分图像的梯度起到了全局稀疏度量的作用（L1正则项具有稀疏的作用）。差分图像沿所有方向梯度的 L 1 范数被称为差分图像的总梯度(total gradient)（TG）。

问题转换： 根据(6)，对齐后的不同图像的TG小于未对齐的图像的TG，因此最小化不同图像的TG相当于对齐。

B. 归一化

启发： 文献【16】对堆叠（overlap）进行了研究，引入了归一化互信息，减少各种重叠对熵测量（entropy measure）的影响。
原理： 差分图像的TG对重叠敏感，因为绝对梯度的总和定义在重叠区域上。重叠区域变小时，总体度减小，没有重叠时，总梯度为0。
把L1范数作为一种度量，则两幅图像之间的总度量值为：

则归一化总梯度（NTG）定义为：

验证有效性： 计算了 77 个多光谱图像 [27] 上关于不同位移（使用 △x = △y）的 NTG 值。下图显示了平均 NTG 值相对于不同位移的趋势。

结果分析： 当位移从 10 到 4 个像素变化时，NTG 值缓慢下降。 但是，当位移小于 4 个像素时它会突然变化，并在完全对齐的情况下达到最小值（ △x = △y = 0）。 这种趋势与图 4 中的梯度分布一致。
结论： NTG 是图像完美对齐的优秀指标，但无法轻易区分较大位移。由 NTG定义的目标函数（见（10））在变换参数方面不是凸的，在配准框架中使用了图像金字塔和全局优化，通过二次采样，图像金字塔减轻了大位移的影响，使全局收敛区域易于追踪。

四、多光谱图像配准

多光谱图像配准的问题可以看作是关于参数或非参数变换的 NTG 测量的最小化。 在下文中，使用全局仿射变换进行图像配准。找到一个带有参数 p 的变换，使得变换后的浮动图像 $g(x,p)=f(u(x,p),v(x,p))$，仿射变换描述为：

其中 $p=(p1,p2,...,p6{)}^T$ ，对齐浮动图像和参考图像等价于求解参数 $p^{\ast }$：

目标函数$J(p)$定义为：

其中$\Omega (p)$代表重叠区域，在该例子中重叠区域被定义为参数变换后的一组点，$\Omega (\mathbf{p})=\{(\mathbf{x},\mathbf{y})\mid (u(\mathbf{x},\mathbf{p}),v(\mathbf{x},\mathbf{p}))\in \Omega \}$

注： 该过程简单描述为，使用牛顿迭代法在[0.95,-0.05,-10,-0.05, 0.95,−10] 到 [1.05,0.05,10,0.05,1.05,10]的范围内搜索，找到使目标函数（NTG）最小的一组参数$p=(p1,p2,...,p6{)}^T$ ，此时可认为图像已配准。

A. 框架

图像配准的框架（引言：图3）由全局优化和局部优化组成。图像先被二次采样成k层，形成倒置金字塔。最底层进行全局优化，然后再将采集点转移到上层进行局部优化，直至达到顶层。优化过程分别使用差分进化（DE）【15】和牛顿法分别作为全局和局部优化器。

B. 全局优化

在全局优化中，我们使用 DeMat 库 [15] 在底层搜索初始点。 对于我们捕获的多光谱图像，我们发现 30 个人和 200 代的种群通常足以得出一个好的初始点。 其他参数默认设置[15]。 由于没有观察到严重变形并且通过下采样减少了大位移，因此 $p=(p1,...,p6{)}^T$ 的搜索空间受限于 [0.95,-0.05,-10,-0.05, 0.95,−10] 到 [1.05,0.05,10,0.05,1.05,10]。
采样因子简单地设置为 α = 2。根据经验，四层图像金字塔（即 K = 4）适用于我们获得的 1392×1040 像素的多光谱图像。

C. 局部优化

每层的参数更新过程(牛顿法)：
$${\mathbf{p}}^{t+1}={\mathbf{p}}^t-{{\left({\mathbf{H}}_{\mathbf{p}}^J\right)}^{-1}{J}_{\mathbf{p}}|}_{\mathbf{p}={\mathbf{p}}^t}$$

D. 参数传递

由于下采样操作，第 k 层图像的初始参数与第 (k - 1) 层图像的估计参数之间存在差距。 当使用仿射变换时，我们简单地用采样因子 α 缩放参数的平移部分来缩小这个差距。
更具体地说，如果在第(k-1)层估计的平移参数是$p_3$ 和$p_6$ ，则它们的初始值在第k层被设置为$\alpha p_3$和$\alpha p_6$ 。

五、实验

分别在上述光学系统捕获图像和 CAVE数据库[31]上进行了实验。MI [12]、RC [21]、CR [11]、RSNCC [14] 和提出的 NTG 措施被纳入相同的图像配准框架（仅限全局优化）以进行公平比较。
PC[22]没有具体的测量形式，根据 [23] 计算图像边缘，使用 Matlab R2016a 中的函数 imregcorr 单独实现 PC。

A. 综合数据

使用模拟对多光谱图像进行合成数据实验：
（1）400 nm 波段图像作为参考图像，其余波段图像作为浮动波段图像。 如图所示，存在明显的局部对比度不一致， 为了进一步模拟局部强度变化，在浮动图像上添加了高斯噪声(右上角)。平移 △x 和 △y 设置在 [-20,20] 像素的范围内， 旋转角 θ ∈ [−10°, 10°] 和缩放因子 s ∈ [0.5,1.5]，如下图所示。

（2）测量值被标准化为范围 [0,1]，然后进行颜色编码以便更好地进行比较。 对于 MI 和 CR，数量 1/MI 和 1-CR 用作其对应的度量，以保持所有度量的一致性（对齐时达到最小值），结果如下图所示。

（3）据观察，MI [12]、RC [21] 和 CR [11] 或多或少受到对比度不一致性和缓慢强度变化的影响。 这种观察是预期的，因为这些测量是根据波段图像之间不一致的图像强度计算的。 相比之下，修订后的 RSNCC 和提议的 NTG 措施产生了正确的转换。 它们对局部强度变化的鲁棒性主要是由于梯度操作的结合。
我们通过增加波段图像之间的强度和对比度不一致来进一步评估不同测量的稳健性。 当标准差 σ 增加时，暗云变大，因此对比度不一致性和局部强度变化变得更加严重。下图显示了不同测量值相对于 σ 的配准误差曲线。 配准误差被计算为参考图像的像素位置与配准后的模糊浮动图像的像素位置之间的平均径向距离。 据观察，RSNCC [14] 和 NTG 都达到了最高的配准精度，并且在各种级别暗云噪声的情况下表现稳定。

（4）这些方法也在 CAVE 数据库上进行了广泛的评估。为了更好的视觉比较，每个度量的配准误差按升序绘制。 超过 3 个像素误差的配准在实验中被视为失败。 在中等位移的情况下，修订后的 RSNCC [14]、PC [22] 和 NTG 在超过 89% 的图像上成功运行。 NTG 产生最低的配准误差（0.17 像素），其次是 RSNCC（0.29 像素）和 PC（0.47 像素）。 在大位移的情况下，NTG的配准误差也是最低的。
上述对 CAVE 数据库的评估验证了 NTG 测量总体上优于竞争对手，如下图示：

B. 真实数据

使用我们的成像系统捕获了 10 个真实场景和一个图案板（见图 7）的多光谱图像。 成像条件保持不变，通过标定从图案图像中获得ground truth变换参数。表 I 列出了使用不同配准度量的 10 个样本的中值配准误差。

下图展示了各个波段的配准误差（横坐标为波段编号），NTG 措施的配准误差通常较小：

样品 S1 和 S2 的图像配准结果的特写视图进一步显示在图 13 中，可以观察到，所提出的 NTG 测量总是产生高配准精度。

C. 对模糊的鲁棒性

基于滤光轮的多光谱成像系统存在离焦模糊，这是由不同波段中不同的有效焦距引起的[5]。
对于每个波段图像，可以使用高斯核 [6] 对离焦模糊进行建模。 探索图 12 的稳健性。
提出了关于图像模糊的配准框架，我们使用高斯核对图 7 中捕获的多光谱图像进行手动模糊，其标准偏差 σ（模糊级别）范围从 0 到 4.75 像素，将其用作参考图像。 然后，我们从模糊图像中估计变换参数，并使用上述过程计算配准误差。

图 15 （下图）绘制了使用基于 NTG 的配准方法从 10 个样本图像的所有波段图像计算的平均配准误差的分布，观察到配准误差在 0.4 像素左右，并且只有轻微的变化，增加模糊级别时更大。 这个优秀的属性是由于所提出的配准框架中使用的图像金字塔。 在较低层中，通过下采样减少了图像模糊，因此仍然可以可靠地估计变换参数。

启发： 通过将参数从下层传递到上层，图像配准可以保持其对离焦模糊的鲁棒性。 类似策略的有效性也在最近的工作中得到了验证，例如patch匹配[32]和图像去模糊[33]。

六、应用

基于滤光轮的成像系统拍摄的多光谱图像可能会受到未对准和失焦模糊的影响，第一种情况（第 VI-A 节），多光谱图像很好地聚焦，应用于清晰的波段图像。 第二种情况（第 VI-B 节），没有使用聚焦装置，因此必须同时处理失准和模糊问题。同时也表明该方法也可以用于其他领域多模图像的配准。

A. 多光谱对准

图 14 显示了所提出的框架产生的配准结果。 在原始采集的多光谱图像中，图像错位造成的色差比较明显。 配准后，波段图像对齐良好，因此消除了 RGB 图像中的色差。

B. 多光谱未对准

所提出的框架对图像模糊具有鲁棒性，因此图像配准直接应用于原始捕获的多光谱图像，无需任何预处理。图像配准后，可以使用最近的多光谱图像去模糊算法[6]进一步获得清晰的波段图像。

C. 其他领域

虽然是为多光谱图像设计的，但所提出的框架也适用于其他多模态/单模态配准任务，如下图所示：

七、 结论

• 提出了一种新的测量方法——归一化总梯度 (NTG)，用于多光谱图像配准。 NTG 基于当两个图像完全对齐时，差异图像的梯度最稀疏。
• 为仿射变换引入了由图像金字塔和全局/局部优化组成的配准框架。
• 实验结果验证了 NTG 测量非常适合多光谱图像配准并且优于其他方法。 作为扩展，NTG 还可以应用于其他多模式配准任务。
• 这项工作有两个限制：（1）NTG 测量在某些特殊情况下可能会失败，例如周期性图案图像（但现实中比较少见）（2）所提出的方法仅适用于仿射变换，仅适用于静态和刚性物体。