论文阅读——Deep Variational Network for Blind Pansharpening

Abstract

基于深度学习的方法在全色锐化中扮演着重要角色，全色锐化利用全色图像来增强多光谱图像的空间分辨率，同时保持其光谱特征。然而，大多数现有方法在训练过程中主要只考虑一种固定的退化情况。因此，当测试数据的退化情况未知（盲）且与训练数据不同时，这些方法的性能可能会显著下降，这在实际应用中很常见。为了解决这个问题，我们提出了一种用于盲全色锐化的深度变分网络，称为VBPN，它将退化估计和图像融合整合到一个完整的贝叶斯框架中。首先，通过将多光谱图像的噪声和模糊参数以及全色图像的噪声参数作为隐藏变量，我们使用神经网络对融合问题的近似后验分布进行参数化。由于该后验分布中的所有参数都被显式建模，因此可以轻松估计多光谱图像和全色图像的退化参数。此外，我们设计了由退化估计和图像融合子网络组成的VPBN，它可以根据测试数据通过变分推理优化融合结果。因此，盲全色锐化的性能可以得到提升。总的来说，VPBN通过结合基于模型和基于深度学习的优点，具有良好的可解释性和泛化能力。在模拟和真实数据集上的实验证明，VPBN能够实现最先进的融合结果。

PROPOSED METHOD

A. Modeling the Pansharpening Process in a Bayesian Framework

在实际退化场景中，$M$ 和 $F$ 之间的物理关系通常可以构建如下：

$$M=(F\ast K){\downarrow }_s+N(3)$$

其中，$K$ 表示模糊核，${\downarrow }_s$ 表示尺度因子为 $s$ 的下采样操作，$N$ 表示加性高斯噪声。为了更贴近真实场景的建模，本文将 $K$ 定义为各向异性高斯模糊核。

根据公式 (3)，我们可以自然地将 $M$ 的先验分布建模为高斯分布：

$$M_i\sim \mathcal{N}\left(M_i|[(F\ast K){\downarrow }_s{]}_i,{\sigma }_i^2\right),i=1,\dots ,d(4)$$

其中，${\sigma }_i^2$ 是高斯噪声的噪声方差。为了对 $M$ 进行更精确的细化建模，我们认为 $M$ 中每个像素的模糊和噪声是不同的。$d$ 表示 $M$ 中的总像素数。

在对观测变量 $M$ 进行建模时，我们引入了三个潜在变量。接下来，需要为变分推断设计融合结果 $F$、模糊核 $K$ 和噪声方差 ${\sigma }_i^2$ 的先验信息。为了计算方便，我们选择了共轭先验分布形式。

对于融合结果 $F$，我们引入以下高斯分布作为共轭先验：

$$F_i\sim \mathcal{N}\left(F_i|x_i,{\epsilon }_0^2\right),i=1,\dots ,n(5)$$

其中，$x_i$ 表示模拟数据集中的高分辨率多光谱图像，$n$ 是全色图像 $P$ 的像素数。${\epsilon }_0^2$ 是一个超参数，用于捕捉 $x$ 和 $F$ 之间的差距，在实验中可以设置为接近零的极小值。

受变分图像超分辨率方法 VIRNet [44] 的启发，我们以与 VIRNet 相同的形式分别对 ${\sigma }_i^2$ 和 $K$ 的共轭先验进行建模。我们选择逆伽马分布作为 ${\sigma }_i^2$ 的共轭先验，并简化为：

$${\sigma }_i^2\sim \mathcal{I}\mathcal{G}\left({\sigma }_i^2|{\alpha }_0-1,{\alpha }_0{\xi }_i\right),i=1,\dots ,d(6)$$

其中，${\alpha }_0$ 是控制分布形状的超参数，${\xi }_i$ 表示通过训练数据使用高斯滤波器估计的噪声方差。

根据各向异性高斯模糊的性质，给定核大小，模糊核 $K$ 可以由协方差矩阵 $\Sigma$ 唯一确定。因此，模糊核可以表示为：

$$k_{ij}=\frac{1}{2\pi {\lambda }_1{\lambda }_2\sqrt{1-{\rho }^2}}\exp \left(-\frac{1}{2}{S}^T{\Sigma }^{-1}S\right)$$
$$\Sigma =\left(\begin{array}{cc}{\lambda }_1^2& {\lambda }_1{\lambda }_2\rho \\ {\lambda }_1{\lambda }_2\rho & {\lambda }_2^2\end{array}\right)(7)$$

其中，$\rho$ 表示皮尔逊相关系数，${\lambda }_1$ 和 ${\lambda }_2$ 分别表示高斯分布在两个方向上的方差。$S$ 表示模糊核作用的空间点坐标，当核大小为 $(2r+1)\times (2r+1)$ 时，$S$ 的范围为 ([-r, r])。

为了便于后续的变分推断，我们将协方差矩阵中的三个变量表示为：

$$\Lambda =\left\{{\lambda }_1^2,{\lambda }_2^2,\rho \right\}(8)$$

模糊核 $K$ 的最终概率分布可以表示为：

$$K=G(\Lambda )$$
$$\Lambda =\mathcal{N}\left(\rho |\hat{\rho },r_0^2\right)\prod _{l=1}^2\mathcal{I}\mathcal{G}\left({\lambda }_l^2|{\kappa }_0-1,{\kappa }_0\ast {\hat{\lambda }}_l^2\right)(9)$$

其中，$G(\cdot )$ 表示各向异性高斯分布，类似于公式 (6) 中的超参数 ${\alpha }_0$。$r_0$ 是控制 $\rho$ 和 $\hat{\rho }$