Unsupervised Hyperspectral Mixed Noise Removal Via Spatial-Spectral Constrained Deep Image Prior

论文笔记31：Unsupervised Hyperspectral Mixed Noise Removal Via Spatial-Spectral Constrained Deep Image Prior
已更新为：Hyperspectral mixed noise removal via spatial-spectral constrained unsupervised deep image prior（new），有空再更新笔记

引言

参考：Deep image prior
Deep Hyperspectral Prior: Single-Image Denoising, Inpainting, Super-Resolution

噪声模型：$\mathcal{Y}=\mathcal{X}+\mathcal{V}$，$\mathcal{Y}\in {\mathbb{R}}^{H\times W\times B}$，高光谱数据是有限的，HSIs的真实噪声是复杂的。因此，在HSIs的现实复杂噪声场景下，很难保证高质量的去噪结果，因为训练数据中没有隐含/潜在的假设。

目前的DIP框架存在两个问题。首先，直接将2D卷积驱动的DIP扩展到三维卷积驱动的DIP，对HSI恢复的效果有限。此外，3D卷积带来了丰富的网络参数，导致DIP迭代过程中的高计算负担。（使用可分离3D卷积解决）

其次，DIP存在半收敛问题。半收敛指的是迭代方法的行为，即PSNR值在早期迭代开始增加，并且在某个“最优”迭代之后，PSNR值开始减小。因此，在拟合噪声之前，迭代需要通过参考最高PSNR值点处的GT图像来终止。（使用SSTV先验解决）

相关工作

CNN方法：训练过程的一般优化模型描述如下
DIP：用于HSI恢复的DIP的优化过程被表述为
其中$\mathcal{Z}$为随机生成的网络输入，$\mathcal{Y}$为需要重建的HSI，$N=H\times W\times B$. 在网络参数随机初始化的情况下，优化问题可以使用像ADAM那样的梯度下降方法来获得。优化过程最终将收敛于噪声图像$f_{{\Theta }^{\ast }}(\mathcal{Z})$，该图像在结构上几乎与观测值$\mathcal{Y}$相同。然而，已经发现网络将首先拟合观测值的信号部分，然后拟合噪声部分。因此，可以通过在网络拟合噪声之前的适当步骤停止迭代来实现$\mathcal{Y}$的去噪。

S2DIP

可分离的3D卷积使用2D核和1D核分别提取空间和光谱特征，以实现三维空间结构，同时减少网络参数。

为了解决半收敛问题，我们尝试手工制作的先验来约束DIP。在HSIs的三维结构中，考虑到空间光谱分段光滑性的空间光谱全变分项(SSTV)被精心选择作为损失函数中的正则项，以保证高质量的空间光谱信息恢复。

可分离的3D卷积编码解码网络：对于大小为$H\times W\times B$的张量，可以利用大小为$n\times n\times k$(大部分是3×3×3)的三维核，通过按顺序跨3个方向来利用空间信息和光谱信息。

可分离3D卷积将大小为3×3×3的3D核分解成大小为3×3×1和1×1×5的两个核，更少的卷积参数。
S2DIP框架：编码块中的卷积层数是解码块的两倍，以有利地编码数据。(图片看不清可以在原论文放大看)

SSTV约束DIP：垂直、水平和光谱方向的有限差分算子
$\mathcal{X}$的TV定义为
$\mathcal{X}$的SSTV定义为
我们在损失函数中引入了TV和SSTV，以探索在无监督条件下HSIs的空间和空间光谱局部平滑先验。通过重写式子(3)，提出的优化模型可以描述为
根据经验设置${\alpha }_1=0.01$，${\alpha }_2=1$.

引入了基于相对误差和迭代步长(step)的自动停止准则(criterion)：
这里，${\mathcal{O}}_k\in {\mathbb{R}}^{H\times W\times B}$表示第$k$个网络输出。具体来说，我们将参数$r$和$k_{max}$分别设置为$\mathbf{R}\mathbf{e}\mathbf{l}\mathbf{E}\mathbf{r}\mathbf{r}$的容差(tolerance)和最大迭代步数(steps)。如果：1)第$k$次迭代的$\mathbf{R}\mathbf{e}\mathbf{l}\mathbf{E}\mathbf{r}\mathbf{r}$低于$r$，或2)迭代次数$k$超过$k_{max}$，迭代将被终止。$\mathbf{R}\mathbf{e}\mathbf{l}\mathbf{E}\mathbf{r}\mathbf{r}$评估优化过程的收敛程度(degree)，而$k_{max}$保证迭代的最终停止。

实验