GTF：通过梯度转移和总变异最小化红外和可见图像融合

📝论文下载地址

  [论文地址]

🔨代码下载地址

  [GitHub-official]

👨‍🎓论文作者

Jiayi Ma,Chen Chen,Chang Li,Jun Huang

📦模型讲解

[论文解读]

  作者首先介绍基于梯度传递的融合公式，然后提供使用总变化最小化的优化方法。

[目标函数]

  如果给定一组融合的可见光图像和红外图像，需要生成的图像要从两张图像获得辐射信息和细节信息。假设可见光和红外图像以及融合图像均为$m\times n$的灰度图像，表示为$v、u、x$。
  首先，红外图像的像素值是由热辐射决定，所以目标与背景的亮度差异巨大，更容易在红外图像中发现目标。这对这一特点，作者将融合图像的亮度更接近与红外图像的亮度，也就i是像素值的大小。例如，可以设定一些${\mathcal{L}}^p$范数来衡量两者的差异：
$$L_1(x)=\frac{1}{p}||x-u|{|}_p^p$$
  另外，为了获得更详细的外观信息，融合图像的像素值大小同样需要与可见光图像相似。但是，一些情况下可见光图像与红外图像的亮度会有很大的差异，同时优化以下公式往往生成的融合图像$x$效果并不好。
$$\begin{gathered} L_1(x)=\frac{1}{p}||x-u|{|}_p^p \\ {L}_2(x)=\frac{1}{q}||x-v|{|}_q^q \end{gathered}$$
  图像的细节信息更多的体现在纹理上，也就是图像的梯度。可见光图像相对于红外图像有更丰富的纹理梯度信息，所以生成的融合图像的梯度可以继承于了见光图像的梯度：
$$L_2(x)=\frac{1}{q}||\nabla x-\nabla v|{|}_q^q$$
其中$\nabla$表示求梯度。在$q=0$的情况下，就是求$\nabla x-\nabla v$的非零项个数。
  那么如果结合两部分公式，得到：
$$\begin{gathered} L(x)=L_1(x)+L_2(x) \\ =\frac{1}{p}||x-u|{|}_p^p+\lambda \frac{1}{q}||\nabla x-\nabla v|{|}_q^q \end{gathered}$$
其中第一项是约束融合图像在亮度上接近于红外图像，第二项是约束融合图像在梯度上接近于可见光图像的梯度，$\lambda$是平衡两项的参数。

[总变化最小进行优化]

  接下来作者分析了$p、q$的选择。
  首先，对于$p$。如果融合图像x和红外u之间的差异为高斯时$p=2$，如果是拉普拉斯或者脉冲的情况下$p=1$。期望融合图像最大程度继承红外图像，那么$L_1$就要尽可能为0，也就是融合图像的像素值与红外图像尽可能一样，而不同的像素值可能是可见光梯度，也就是第二项$L_2$造成的。因此，作者认为融合图像x和红外u之间的差异为拉普拉斯或者脉冲而不是高斯，所以$p=1$。另外，对于$q$。作者通过几篇相关文献确定$q=1$。
$$\begin{gathered} L(x)=L_1(x)+L_2(x) \\ =|x-u|+\lambda |\nabla x-\nabla v| \end{gathered}$$
  如果定义$y=x-v$，那么目标函数可以写为：
y ∗ = arg ⁡ min ⁡ y { ∑ i = 1 m n ∣ y i − ( u i − v i ) + λ J ( y ) ∣ } J ( y ) = ∑ i = 1 m n ∣ ∇ i y ∣ = ∑ i = 1 m n ( ∇ i h y ) 2 + ( ∇ i v y ) 2 y*=\arg\min_y\{\sum_{i=1}^{mn}|y_i-(u_i-v_i)+\lambda J(y)|\}\\ J(y)=\sum_{i=1}^{mn}|\nabla_iy|=\sum_{i=1}^{mn}\sqrt{(\nabla_i^hy)^2+(\nabla_i^vy)^2} y∗=argymin​{i=1∑mn​∣yi​−(ui​−vi​)+λJ(y)∣}J(y)=i=1∑mn​∣∇i​y∣=i=1∑mn​(∇ih​y)2+(∇iv​y)2 ​
其中假如$x=(x_1,x_2)\in {\mathbb{R}}^2$，那么$|x|=\sqrt{x_1^2+x_2^2}$，${\nabla }_i=({\nabla }_i^h,{\nabla }_i^h)$，${\nabla }_i^h$，${\nabla }_i^v$表示纵向和横向的梯度，即：
$$\begin{gathered} {\nabla }_i^{h}x=x_i-x_{r(i)} \\ {\nabla }_i^{v}x=x_i-x_{b(i)} \end{gathered}$$
其中$r(i)、b(i)$表示$i$的右边和下边相邻的像素。对于最后一行或者最后一列，$r(i)、b(i)$都取$i$。目标函数是凸优化问题，GTF算法简单有效。最后融合结果是$x=y+v$。

[广义GTF算法]

  作者使用$\mathcal{T}$表示对可见光图像的空间变换，是可见光图像$v(\mathcal{T})$与红外图像$u$对齐。目标函数可以转换为：
$$L(x,\mathcal{T})=||x-u|{|}_1+\lambda ||\nabla x-\nabla v(\mathcal{T})|{|}_1$$
  目标函数中有两个未知量，分别是融合图像$u$与空间变换$\mathcal{T}$。当解决一个变量时在另一个变量信息未知情况下是困难的。但是当确定了一个变量解决另一个会相对容易。可以通过固定一个变量收敛另一个来不断迭代来解决问题。例如，可以通过固定$\mathcal{T}$来解决获得$x$。让$y=x-v(\mathcal{T})$：
y ∗ = arg ⁡ min ⁡ y { 1 2 ∣ ∣ y − ( u − v ( T ) ) ∣ ∣ 1 + λ J ( y ) } y*=\arg\min_y\{\frac{1}{2}||y-(u-v(\mathcal T))||_1+\lambda J(y)\} y∗=argymin​{21​∣∣y−(u−v(T))∣∣1​+λJ(y)}
  固定$x$解决$\mathcal{T}$：
$$\begin{gathered} L(\mathcal{T})=||\nabla x-\nabla v(\mathcal{T})|{|}_1 \\ =\sum _{i=1}^{mn}\sqrt{({\nabla }_i^{h}x-{\nabla }_i^{h}v(\mathcal{T}){)}^2+({\nabla }_i^{v}x-{\nabla }_i^{v}v(\mathcal{T}){)}^2} \end{gathered}$$
  计算目标函数及梯度时：
$$\begin{gathered} r=({\nabla }^{h}x-{\nabla }^{h}v(\mathcal{T}),{\nabla }^{v}x-{\nabla }^{v}v(\mathcal{T})) \\ s=({\nabla }^{h}v(\mathcal{T}),{\nabla }^{v}v(\mathcal{T})) \\ L=tr((r{r}^T{)}^{1/2}) \\ \nabla L=-\frac{1}{2}(r{r}^T{)}^{-1/2}r\nabla s\frac{\partial \mathcal{T}}{\partial \theta } \end{gathered}$$
其中$r、s$是$mn\times 2$的矩阵，$tr(.)$表示迹，$\nabla s$可以从水平梯度${\nabla }^{h}v(\mathcal{T})$和垂直梯度${\nabla }^{v}v(\mathcal{T})$得到，$\theta$表示仿射变换的参数。

[伪代码]

算法 1：没有预对齐的GTF算法
输入： 红外图像$u$，可见光图像$v$，参数$\lambda$
输出： 融合图像$u$
1 提取$u、v$的Canny边缘图，并使用采样方法离散化。
2 使用仿射模型的CPD算法对齐两个点集并相应的初始化$\mathcal{T}$
3 重复
4   通过提出的算法优化目标函数（$\mathcal{T}$固定优化$y$的目标函数）计算$y$
5   设置融合图像$x\leftarrow y+v(\mathcal{T})$
6   使用牛顿法优化慕白哦函数（$y$固定优化$\mathcal{T}$的目标函数）以及其梯度计算的公式计算$\mathcal{T}$
7 直至 停止准则
8 通过$x=y+v(\mathcal{T})$计算融合图像$x$