《Multi-modal and Multi-spectral Registration for Natural Images》论文解读

摘要

由于计算机视觉和的相机的发展，图像现在有彩色、近红外、深度等形式。 然而，他们的跨模式通信建立却被抛在了后面。 考虑到这些图像集中可能存在的结构变化，我们解决了这个具有挑战性的密集匹配问题，并引入了新的模型和解决方案。
我们的主要贡献包括设计名为鲁棒选择性归一化互相关 (RSNCC) 的描述符以在输入图像中建立密集像素对应关系，并提出其数学参数化以使优化易于处理。 还建立了一个包括全局和局部匹配阶段的计算鲁棒框架。
我们构建了一个多模态数据集，包括带有标记稀疏对应的自然图像。 我们的方法将有利于需要精确图像对齐的图像和视觉应用。
关键词： 多模态、多光谱、密集匹配、变分模型。

一、引言

多模图像的类型： RGB 和近红外 (NIR) 图像对 [35]、闪光和非闪光图像 [22,1]、彩色和暗闪光图像 [18]、深度和彩色图像、 嘈杂和模糊的图像 [38]，以及在变化的光线下捕获的图像 [24]

医学多模图像的配准方法： 包括刚性和非刚性方法 [23,21,17,2]。

先前的方法存在的问题： 很多先前的方法是假设已经对齐了输入图像，这使它们很容易在应用产生新的影响。例如，[18,22,1,38,26,8] 中的输入是由相同或标定的相机产生的。 [24] 中使用的动态场景图像是在 HDR 构建之前进行的对齐。 在[35]中，开发了一种基于正确关联像素的多光谱图像恢复方法。 很明显，当先前的对齐不满足条件时，配准输入图像将不可避免地考虑到相机运动、物体变形和深度变化。 当存在大的灰度、颜色和梯度变化时，这是具有挑战性的。
备注：先前的很多方法是假设对齐了输入图像；配准图像需要考虑相机运动、物体变形和深度变化的影响（先前的医学图像不是普通的自然图像，没有考虑这些问题）

单模图像配准方法： 非刚性图像配准 [7,36,16,29]，光流估计 [13,5,6,41,5 ,3] 和立体匹配 [11,27] 可以用来对齐它们。 但对多模图像来说这些方法不适用。

医学多模态配准方法的局限性： 在医学成像中，多模态配准方法是基于互信息等全局或局部统计信息来搜索区域对应关系。它们大多局限于灰度级医学图像，不适合细节丰富的自然图像匹配。

多光谱图像的配准方法： 对于一般的多光谱图像匹配，Irani 等人 [15]提出了一个多传感器图像全局对齐的框架。使用定向拉普拉斯能量图(directional Laplacian energy map)的互相关测量patch相似性。 变分框架(Variational frameworks)[12,37]可以估计多模态图像中的小位移。
局限性： 不适用于重异常值(heavy outlier)图像或具有较大非刚性位移的图像。 通用匹配工具，如 SIFT [19]，也不能处理多光谱图像，并且在计算中缺乏亚像素精度。

论文目标： 匹配具有显着位移和明显结构不一致的一般多模态和多光谱图像。 提出了一种新的匹配成本，称为鲁棒选择性归一化互相关 (RSNCC)，以处理梯度和颜色变化，以及由噪声、不一致的阴影和物体表面反射引起的可能的结构发散。
解决方案： 为自然图像提供了新的参数化多模态和多光谱配准，以将原始描述符分离成几个具有数学意义的术语来解释最优性。 方法包含全局和局部阶段，以分别消除大位移和估计残余像素对应关系。
方案验证： 构建了一个数据集，其中包含具有标记点对应关系的不同类型的图像对来验证我们的系统。

二、相关工作

论文[42,28,33] 中提供了图像匹配的调查。不同模式捕获的图像的对应关系很复杂，在[15,35]中分析了多光谱图像之间的差异。

多光谱图像配准方法分类： 基于特征和基于patch的方法。

基于特征的方法： 提取多光谱不变稀疏特征点，然后建立它们的对应关系以进行最优变换。Hrkac 等人 [14] 通过提取角点并通过最小化 Hausdorff 距离获得全局对应来对齐可见光和红外图像。 芬美意等人 [9]提出了一种用于全局配准的多光谱兴趣点检测算法。韩等人 [10] 使用线和角等混合视觉特征来对齐在受控环境中捕获的可见光和红外图像。 缺点： 由于特征稀疏，这些方法并不针对非常精确的密集匹配。

基于patch的方法： 互信息和互相关。 正如 [23] 中所调查的，互信息对于多模态医学图像对齐是稳健的。埃莫西约等人 [12] 提出了一种基于这种度量的变分框架来匹配多模态图像。 张等人 [40] 和帕洛斯等人[21]进一步增强了变分框架以解决多模态配准问题。易等人[37]自适应地考虑了全局和局部互信息。 至于互相关方法，Irani 等人 [15] 提出了拉普拉斯能量图并在其上计算互相关来测量多传感器图像相似度。Kolar 等人使用了梯度幅度的互相关。 [17]配准自发荧光和红外视网膜图像。 最近，Andronache 等人[2]结合互信息和互相关来匹配多模态图像。 不足： 在密集匹配过程中有时仍会受到异常值和大位移的影响。

光流估计： 现代光流估计[13]，数据项通常强制亮度或梯度恒定[5,6,41]。 [5,3,31,39] 在正则化中使用了鲁棒函数，例如 L1 norm 和 Charbonnier 函数。 对于大位移处理，Xu 等人[34] 通过补充基于特征和patch的匹配改进了从粗到细的策略。缺点： 我们注意到光流方法不能解决我们的问题，因为它依赖于亮度和梯度恒定性约束，这不再适用于多光谱图像匹配。 基于变分框架，Liu 等人[19] 使用 SIFT 特征实现了一般场景图像匹配。

3、问题理解

下面我们以 RGB 和 NIR 图像对为例，因为它们包含许多不同的结构和强度级别。我们分析了密集图像匹配的困难。

令$I_1$和$I_2$为两幅多光谱或多模态图像，$p=(x,y{)}^T$为两幅图像的像素坐标，$w_p=(u_p,v_p{)}^T$为像素$p$的位移. $I_1$ 中的$p$映射到$I_2$ 中表示为 $p+w_p$， $I_{1,p}$ and $I_{2,p}$表示$p$点灰度。

对于密集图像匹配，两个输入图像之间的像素 p 的cost通常可以表示为：(其中$D_1(p)$和$D_2(p+w_p)$是匹配描述算子，$dist(\cdot )$描述匹配算子的距离)
$$E^{\mathcal{D}}\left(p,w_p\right)=\mathrm{dist}\left({\mathcal{D}}_1(p),{\mathcal{D}}_2\left(p+w_p\right)\right)$$

颜色和渐变： 如图 2(a) 和 (d) 所示，由视觉和 NIR 相机捕获的 RGB/NIR 图像对包含结构不一致。 显然，不能使用在欧拉或鲁棒欧拉距离下的许多对齐方法中使用的对应像素之间的一般颜色和梯度恒定性。 伊拉尼等人[15] 和 Kolar 等人[17] 计算​​梯度幅度的相似性。 虽然放宽了颜色的恒常性条件，但在很多情况下还是不够的。 仅使用梯度对应时，匹配精度可能会降低。

备注：图片中的横坐标应该代表位移偏差，ground-truth点表示最准确的配准位置。从图像可以看到，只有RSNCC方法在最低点的位置正好对应ground-truth点，即认为该方法在该实验中表现最好
SIFT特征： 该描述符适用于在类似曝光下捕获的图像。 我们注意到 SIFT 可能不适合多光谱匹配，原因有以下两个。 首先，SIFT 对输入图像中存在的梯度反转不是不变的，如图 2（a）和（d）中的 A 点所示。 虽然 Firmenchy 等人[9]提出梯度方向不变SIFT，与传统SIFT相比性能有所下降。 在（c）中，SIFT描述符差异的最小值不对应于ground truth匹配点。 其次，SIFT 描述符在区分真假对应方面并不是那么强大，尤其是在给定其输出分数的无特征区域中。

互信息： 互信息（MI）广泛用于医学图像配准。 然而，对于细节丰富的自然图像，MI 有其局限性。 如图 2 所示，15 × 15 补丁中的 MI 成本未能找到正确的对应关系。 MI 也可能对噪声敏感，如图 2 （f）所示。 Andronache 等人解释了 MI 测量小的局部补丁相似性的缺点。 [2]对于使用局部补丁互信息的变分框架[12,37]，只计算小的位移。

4、 Our Matching Cost

4.1 Φ Definition

为了处理多光谱和多模态图像中的结构不一致性和显着的梯度变化，我们提出了一个匹配cost：

$\rho (x)$ 是一个稳健的函数，权重 $\tau$ 用于组合分别在颜色和梯度域上定义的两个项。

${\Phi }_I(p,w_p)$ 是 $I_1$ 中以 p 为中心的patch与 $I_2$ 中的patch $p+w_p$ 在强度或颜色空间中的归一化互相关。 ${\Phi }_{\nabla I}(p,w_p)$ 是在梯度空间中类似定义的。 通过将 I 和 ∇I 推广为特征 F ∈ { I , ∇ I } F ∈ \{I,∇I\} F∈{I,∇I}，特征空间 F 中的 ${\Phi }_{F(p,w_p)}$由下式给出:

其中${\overline{F}}_{1,p}$ 和 ${\overline{F}}_{2,p+wp}$ 分别是均值，等式中定义的归一化互相关可以表示特征 F 下的两个patch的结构相似性，即使两个他们在颜色和几何形状上进行了局部变换。

与其他定义方法的不同：

1. 我们在方程式中的cost定义(公式2) 具有稳健的函数ρ(x)。 它处理的变换比仅使用 Pearson 距离 $1-{\Phi }_I(p,w_p)$ 定义的线性变换更复杂。
2. 我们的数据cost对 ${\Phi }_{F(p,w_p)}$ 的绝对值进行建模，以最小化等式中正相关或负相关的匹配成本 (公式2)，这是与其他仅适用于外表相似自然图像匹配方法的主要区别。 这个定义对于处理 NIR-RGB 和正负图像中普遍存在的梯度反转是有效的，它们会产生负相关。 这就是我们称之为选择性模型的原因。图 2(b) 显示了一个示例，其中 A 点在输入图像中具有不同的梯度方向，我们的函数也可以产生合理的结果。

颜色和梯度： ${\Phi }_{I(p,w_p)}$和${\Phi }_{\nabla I(p,w_p)}$ 的组合有助于提高匹配的稳定性，尤其是当两个色块的强度或颜色差异很大时。 例如，图 2(a) 和 (d) 中的点 B 在相应的补丁中具有不同的边缘幅度。 我们的方法可以在零均值归一化互相关 (ZNCC)、SIFT 和 MI 失败时找到对应关系，如（c）所示。 此外，这种组合使匹配对噪声更加鲁棒，如图 2（f）所示，在我们的实验部分有更多解释。
然而，我们定义的匹配成本对于 $w_p$ 来说是复杂的。 我们通过二阶近似对其进行线性化。 为了实现这一点，我们仔细选择了一个稳健的函数，并采用了逐像素泰勒展开。

4.2 Robust Function

方程中的 $\rho (x)$ (公式2) 是用来排除异常值的稳健函数，异常值包括由阴影、高光、动态对象引起的结构差异，仅举几例。 我们在图 3 中展示了一个示例。$\rho (x)$ 还应该对 $1-|{\Phi }_{F(p,w_p})|$ 中产生的误差具有鲁棒性， $1-|{\Phi }_{F(p,w_p})|$ 是不连续的，这使得一般的鲁棒函数（例如 Charbonnier）不可微。 为了解决这个问题，我们提出 $\rho (x)$ 为:

其中$\beta$是一个参数，为了理解这个函数，我们通过改变图 4 中的 $\beta$ 来绘制 $\rho (x)$ 和 ${\rho }^{\prime }(x)$。大的 $x$ 不会导致 $\rho (x)$ 的过度惩罚。当 $\beta \to \infty$时，$\rho (x)$ 成为鲁棒 L1 范数的一个很好的近似值。此外，它使RSNCC是连续的，并且可以通过不断优化来解决。这种强大的功能在图像匹配中是有效的。 对于图 3 中不一致的阴影结构，我们的模型比直接匹配处理得更好。


备注：ρ'(x)？是指一般的鲁棒函数？还是直接使用$1-|{\Phi }_{F(p,w_p})|$?

4.3 匹配cost推导

由公式（4），匹配cost改写为：

另外，根据特征空间 F ∈ { I , ∇ I } F ∈ \{I,∇I\} F∈{I,∇I}，$I_1$ 和 $I_2$ 之间的补丁归一化互相关项 ${\Phi }_{F(p,w_p)}$ 是高度非凸的，通过泰勒展开中的线性化对其进行分解，得到：其中 $\delta {\mathbf{w}}_p$ 是patch $p$ 的所有 $\delta w_p$ 的向量形式。 ${\mathbf{A}}_p^F$ 是一阶近似系数矩阵，${\mathbf{B}}_p^F$ 是仅包含对角元素的二阶矩阵。 在这个公式（5）中，patch $p$迭代更新的局部位移场表示为:

其中， ${\omega }_p^I$ 和 ${\omega }_p^{\nabla I}$ 是来自导数鲁棒函数的权重。 也就是说，${\omega }_p^I=\rho (1-|\Phi I(p,w_p)|)$ 以及 ${\omega }_p^{\nabla I}=\tau \rho (1-|\Phi \nabla I(p,w_p)|)$。 ${\mathbf{A}}_p^F$由下式给出：


其中 $◦$ 表示逐元素乘法，${\mathbf{F}}_{1,p}$ 是公式（3）更新后的$F_{1,p}$ ,每一行是patch $p$ 中像素的特征向量。 ${\mathbf{F}}_{2,p}$的定义类似。 $1$ 是一个全一向量，其长度是特征空间 F 的维度。$\nabla x$ 是 x 方向上的逐元素差分算子，${\nabla }^{2}x$ 是二阶向量，y方向同理。
我们将 $S_p^1$ 表示为一阶归一化相似度，将 $S_p^2$ 表示为二阶相似度。

$S_p^1$ 和$S_p^2$ ： 公式（3）中定义的匹配cost包括两部分， 相似性度量由下式给出：

置信项包括：
现在以两个顺序来定义归一化相似度，$S_p^1$描述了归一化互相关描述符下每个像素的匹配置信度。 它通过相似性和置信度归一化为：
为了得到$S_p^2$，我们首先将归一化交叉相似度表示为：
它描述了两个patch的相关性。 给定 ${\mathbf{F}}_{2,p+w_p}$ 的二阶归一化描述符为:

$S_p^2$是 $C_p$ 和 $D_{p,2}$ 的线性组合：

其中 $\overline{N}$ 是patch中的像素数，最后（第三）项是由两个patch的不同相似性所施加的偏差。我们的二阶近似与 [32] 中的形式不同，后者处理相似曝光的自然图像以进行运动估计，并假设位移场在局部是恒定的。 我们的近似是像素级的，具有新的表达式，从而在多光谱和多模态图像中建模复杂的对应关系。

5、匹配工作

为了在具有挑战性的图像上产生匹配，我们的求解器分别包含全局变换和局部密集匹配的阶段。 全局匹配估计由相机位置变化或场景运动引起的大位置变换，然后局部相位估计残差并考虑逐像素对应来补偿它们。

5.1 全局匹配

全局相位估计用于图像平移、旋转和缩放的单应矩阵 H。 对应的函数写为：

其中 $w_p=(u_p,v_p)$ 在每个像素的单应性约束下。 进一步表示为：

其中 $I$是单位矩阵，我们应用梯度下降来获得最优 H。$E(H)$ 的一阶和二阶导数是根据链式法则获得的。为了快速和稳健的计算，我们采用从粗到细的方案并估计每一层的 H 增量。
这里使用的 RSNCC 匹配cost可以稳健地找到相似的结构并拒绝异常值。 如图 5 所示，我们的方法估计背景变换，尽管阴影和噪声的结构不一致。 由于深度变化，图 5（d）中的一些像素仍然包含错误。 它们在下文中进一步细化。

5.2 局部强度匹配

在全局变换之后，我们结合正则化项进行像素级残余位移估计。该函数被写为：

其中$\mathbf{w}=(u^T,v^T{)}^T$是$w^p$的向量形式。u和v分别是$u_p$和$v_p$的向量。为了简单起见，我们将这三个术语表示为$E_D(w)$、$E_S(w)$和$E_{NL}(w)$。λ1和λ2是两个参数。鲁棒正则化项ES(w)通常用于执行空间平滑。$\psi (x)$是鲁棒惩罚$\psi (x^2)=\sqrt{x^2+{\epsilon }^2}$，在我们所有的实验中$\epsilon$设置为1e−4 。该函数是L1范数的可微变量，可用于优化。$E_{NL}(w)$是一种非局部中值滤波器。它可以有效地去除噪声，如[25]所述。

优化: 局部密集匹配以从粗到精的方式执行，以获得优化$E(w)$的高精度。在每个级别中，$E(w)$都会更新并传播到下一个级别以进行变量初始化。为了处理每一层中的非凸$E(w)$，我们将其分解为两个子函数，这两个子函数都通过变量分裂方案寻找最优解[30]。这两个函数分别为：
其中KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at position 10: \widehat \̲m̲a̲t̲h̲b̲f̲ ̲w是辅助变量。当θ→ 0时，分解接近原始$E(w)$。
我们的方法使等式(19,20)最小化。最小化可通过[25]的方法获得。基于变分配置，我们使用迭代加权最小二乘法求解等式（19）。在每一步中，我们在优化KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at position 17: …(w+δw，\widehat \̲m̲a̲t̲h̲b̲f̲ ̲w)后用一个小的$\delta w$更新结果。这是通过设置$\frac{\partial E(w+8w,\pi )}{\partial 8w}=0$完成的。有关详细信息，请访问我们的项目网站（链接：http://www.cse.cuhk.edu.hk/leojia/projects/multimodal）。我们的局部匹配改进了像素对齐，如图5（e）和（f）所示。

6、实验和评估

我们在MATLAB中实现了我们的算法。在3.2GHz Core i7 PC上，1200×800图像的处理时间不到三分钟。在我们的实验中，我们在鲁棒函数中设置β=1.0，并将面片大小设置为9×9来计算RSNCC。
在我们的所有实验中，权重τ设置为1.0。在局部密集匹配中，λ1的范围为0.1到0.5，λ2设置为0.01。在全局和局部匹配阶段，在从粗到细优化过程中，我们采用了五个下采样率为0.8的尺度。更多详情请访问我们的项目网站。

6.1评估

我们建立了一个数据集，包括四种典型的图像对——RGB/NIR、RGB/深度、不同曝光和闪光/无闪光。RGB/NIR图像由RGB和NIR摄像头捕获，而RGB/Depth图像由Microsoft Kinect捕获。不同的曝光图像对和闪光/无闪光对由同一台相机在曝光和相机姿势变化的情况下拍摄。
这些图像包含深度变化或动态移动对象，需要进行刚性和非刚性变换估计。为了得到地面真值位移，我们选择了100个角点并标记它们的对应关系。图片显示在我们的网站上（标题页中的链接）。总的来说，这些图像提供了2K个地面真相对应，我们利用它们来评估我们的方法。
表1中报告了对我们的方法和其他最新技术的评估。我们比较了一般场景匹配SIFT流[19]和使用梯度方向不变SIFT[9]的改进SIFT流。我们实现了变分互信息方法[12]。筛流不处理梯度反转。梯度不变筛选也会产生一定程度的匹配错误。变分互信息不能处理大位移，相应地会产生较大的误差。我们的方法没有这些问题。由于我们的匹配成本可以灵活地结合其他特征，我们评估了使用[15]中提出的特征以及颜色、梯度和颜色和渐变的组合。表1中的结果证明，我们当前的功能在这四项匹配任务中是最好的。
例如无花果。6和7将我们的方法与其他方法进行比较。图中的输入6是具有显著梯度、噪声和阴影变化的RGB和NIR图像。图7是匹配一系列不同曝光图像的示例。
这两个例子都是非刚性变换和大位移。由于新的匹配成本和强大的两阶段匹配框架，我们的结果具有良好的质量。

6.2应用

我们的框架有利于需要对齐多光谱和多模式图像的计算机视觉和计算摄影应用。我们将其应用于HDR构造和多模态图像恢复。
HDR图像构造： 我们的方法可以匹配不同曝光的图像来恢复高动态范围的图像。如图7所示，我们的结果是高质量的。我们采用[24]中提出的方法将低动态范围图像合并为HDR图像，其中色调映射结果如（i）所示。与[24]相比，我们的方法产生了丰富的细节。

多模态图像恢复： 我们在图8中展示了深度和RGB图像匹配的示例。Kinect或其他设备捕获的深度图像与相应的RGB图像不精确对齐，如图8（c）。深度图像也带有噪声和缺失值。通过过滤器进行简单的平滑可能会损坏原始结构。我们的方法将平滑后的深度图像与RGB图像进行匹配。它不仅使结构对齐，而且有助于修复因过滤而损坏的结构，如图8（d）和（e）所示。


如[35]所述，NIR图像也是恢复含噪RGB图像的良好指南。由于RGB和NIR图像通常由不同的摄像头拍摄，因此在恢复之前需要对它们进行对齐。由于它们的非刚性变换，对齐非常具有挑战性。我们的方法处理了这个问题，结果如图9所示。我们的匹配框架还可以用于增强需要对齐的flash/no flash图像。项目网站上有几个例子。

7、结论和局限性

结论： 我们提出了一种有效的多光谱和多模态图像密集匹配框架，与其他在各种约束条件下处理自然或医学图像的方法不同，我们解决了更具挑战性的问题，包括结构不一致以及阴影和高光导致的强异常值的存在。我们提出了一种鲁棒匹配方案，分两个阶段进行优化。

局限性： 首先，如果两幅图像包含完全不同的结构，估计的位移场可能完全错误。其次，我们的方法可能会在不包含可靠结构匹配所需的信息边缘或纹理的区域上产生较大误差。