论文阅读——Variational Zero-Shot Multispectral Pansharpening

Abstract

全色锐化的目标是通过融合低空间分辨率的多光谱图像（LRMS）和全色图像（PAN）来生成高空间分辨率的多光谱图像（HRMS）。这项任务最具挑战性的问题在于，只有待融合的LRMS和PAN图像是可用的，而现有的基于深度学习（DL）的方法由于依赖大量训练对而不适合解决此类问题。传统的基于变分优化（VO）的方法非常适合解决此类问题。这些方法侧重于为优化问题精心设计显式的融合规则和正则化项，这些规则和正则化项基于研究人员对图像关系和图像结构的发现。与以往基于VO的方法不同，在本工作中，我们通过参数化项而非手动设计项来探索这种复杂的关系。具体而言，我们提出了一种零样本全色锐化方法，通过在优化目标中引入神经网络来实现。该网络估计HRMS的一个表示分量，主要用于描述HRMS与PAN之间的关系。通过这种方式，网络实现了与所谓的深度图像先验（DIP）类似的目标，因为它通过其固有结构隐式地规范了HRMS和PAN图像之间的关系。我们通过交替最小化直接优化网络参数和期望的HRMS图像来最小化这一优化目标。在各种基准数据集上的大量实验表明，与其他最先进的（SOTA）方法相比，我们提出的方法能够实现更好的性能。

Main Method

我们使用大写字母表示矩阵，例如 $A\in {\mathbb{R}}^{H\times W}$。具有超过两个维度的张量用书法体表示，例如 $\mathcal{X}\in {\mathbb{R}}^{H\times W\times S}$。$\mathcal{X}$ 的第 ((i, j, k)) 个元素表示为 ${\mathcal{X}}_{ijk}$。符号“$\otimes$”表示 $A$ 和 $B$ 之间的卷积运算。符号“$\odot$”表示哈达玛积（Hadamard product），即逐元素相乘。相应地，“$\oslash$”表示逐元素除法。“$A{\downarrow }_r$”表示将 $A$ 下采样，尺度因子为 $r$。矩阵或张量的弗罗贝尼乌斯范数（Frobenius norm）写作“$\Vert \cdot {\Vert }_F$”，即 $\Vert \mathcal{X}{\Vert }_F:={\left({\sum }_{ijk}{\mathcal{X}}_{ijk}^2\right)}^{1/2}$。

Overview to Pansharpening

多光谱全色锐化的目标是将观测到的低分辨率多光谱图像（LRMS）和全色图像（PAN）融合为期望的高分辨率多光谱图像（HRMS）。设 $X\in {\mathbb{R}}^{H\times W\times S}$ 表示HRMS，其中 $H$、$W$ 和 $S$ 分别表示HRMS的高度、宽度和光谱维度。对应的LRMS表示为 $Y\in {\mathbb{R}}^{h\times w\times S}$，全色图像表示为 $P\in {\mathbb{R}}^{H\times W}$。LRMS的下采样因子为 $r$，即 $H/h=W/w=r$。将多光谱全色锐化方法视为逆问题[69]，我们可以为基于变分优化（VO）的通用方法[5]建立以下模型：

$$\underset{X}{\min }{L}_y(X,Y)+{\lambda }_1{L}_p(X,P)+{\lambda }_{2}R(X)(1)$$

其中，$L_y(\cdot ,\cdot )$ 和 $L_p(\cdot ,\cdot )$ 分别表示描述HRMS/LRMS和HRMS/PAN关系的数据保真项，$R(X)$ 表示用于表征 $X$ 结构的正则化项，${\lambda }_1$ 和 ${\lambda }_2$ 是两个权衡参数，用于平衡各项的比例。

在基于VO的全色锐化方法中，最常用的HRMS与LRMS之间的关系如下[71]：

$$Y=(X\otimes K){\downarrow }_r+n_1(2)$$

其中，$K\in {\mathbb{R}}^{k\times k}$ 表示模糊核，$n_1$ 表示小的残差值，通常建模为零均值高斯分布。简而言之，上述表示意味着LRMS被认为是HRMS经过模糊和下采样后的结果。因此，$L_y$ 可以表示为：

$$L_y=\Vert Y-(X\otimes K){\downarrow }_r{\Vert }_F^2(3)$$

根据以往的工作，我们还采用与多光谱传感器的调制传递函数（MTF）匹配的高斯滤波器作为核 $K$ [72]。该核是预设且固定的。可以看出，$L_y$ 项主要衡量空间信息损失，因为模糊和下采样是在空间维度上进行的。

与 $L_y$ 不同，$L_p$ 项的设计更为复杂，因为PAN如何从HRMS退化仍然是一个开放性问题。在早期的工作中[38]，提出了简单的线性模型 $P=X{\times }_{3}p$，随后被许多其他工作采用[39]-[43]。这意味着对 $X$ 的光谱波段进行线性组合，系数向量为 $p\in {\mathbb{R}}^{S\times 1}$。线性HRMS/PAN模型的最大优势之一是在求解优化问题时计算方便，因为它仅包含矩阵乘法操作。此外，由于操作是在光谱维度上进行的，空间信息可以很好地包含在内。然而，线性模型在提高模型性能方面存在一些缺点。首先，即使 $P=X{\times }_{3}p$ 严格成立，由于 $\text{rank}(p)=1$，该方程的解空间仍然很大，这意味着线性模型无法提供更多的图像信息。其次，如果 $P=X{\times }_{3}p$ 的关系不严格成立，这种线性模型不可避免地会带来近似误差。

为了进一步提高模型性能，研究了更复杂的模型来描述HRMS/PAN关系，以增强PAN的引导能力[15]-[25]。例如，一些工作重新采用了基于CS（成分替换）和MRA（多分辨率分析）的方法提出的表示[23]-[25]。其中，最简单的模型将HRMS表示为：

$$X=G\odot \hat{P}(4)$$

公式（4）具有非常简洁和灵活的形式，类似于Brovey变换[28]。该表示仅包含两个部分。扩展的全色图像 $\hat{P}\in {\mathbb{R}}^{H\times W\times S}$ 是从PAN构建的，并且具有与HRMS相同的大小，尤其是空间分辨率。例如，$\hat{P}$ 可以与PAN和LRMS进行直方图匹配。可以看出，在这种表示中，$\hat{P}$ 主要为HRMS提供空间信息。然而，由于PAN只有一个通道，$\hat{P}$ 无法保留与 $X$ 一致的光谱信息。这就是为什么需要一个系数张量 $G$ 来平衡近似。理论上，无论 $X$ 和 $P$