论文笔记25：Zero-Shot Hyperspectral Image Denoising With Separable Image Prior

最新推荐文章于 2023-12-11 12:16:57 发布

love_lqz

最新推荐文章于 2023-12-11 12:16:57 发布

阅读量513

点赞数

分类专栏：论文笔记

本文链接：https://blog.csdn.net/weixin_41553159/article/details/110631348

版权

论文笔记专栏收录该内容

41 篇文章 30 订阅

订阅专栏

引言

相似文章：
Self-supervised Hyperspectral Image Restoration using Separable Image Prior
DNN-based Hyperspectral Image Denoising with Spatio-spectral Pre-training

基于图像先验的优化方法已成为HSI重建的主流之一。尽管深度学习被集成到图像恢复任务中，但高性能仅限于灰度/彩色图像的应用。这是因为收集用于监督训练的HSI所需的大数据集极其困难，因为需要特殊的HSI传感器，并且捕获HSI通常需要很多时间和精力。

DnCNN使用17-20层，每层有64个滤波器核来训练去噪网络以处理彩色图像。因此，基于DnCNN设置，最好在每个层中使用64×N/3个滤波器来捕获具有N个光谱波段的HSI的光谱信息。因此，参数数量的任何增加都难以训练网络。在这里插入图片描述

方法

对于像HSI这样具有许多通道的图像立方体来说，通常很难训练它，因为我们可能需要每层更多的核来捕捉光谱方向上的特征。这将使其优化非常困难。

考虑到HSIs的特性，我们可以安全地忽略空间光谱平面中的对角相关性，因为对角方向上的相邻像素携带的信息较少，这表明了使用可分离网络的优势。
在这里插入图片描述
空间维度的卷积在每个通道中独立执行(深度方向的卷积)，而通道方向的卷积使用1D核来执行(点方向的卷积)。

线性算子 $A\in\{0,1\}^{N\times N}$ 为一个已知的随机采样矩阵，其中 $N$ 是一个HSI中的总像素数。仅给定对应于 $A$ 的采样点的像素，我们考虑恢复整个图像 $x$ 的问题。

我们通过仅最小化被 $A$ 屏蔽的那些像素的均方误差来训练网络 $\min _{\Phi}\|\mathbf{A} \mathbf{x}-\mathbf{A} \Phi(\mathbf{A} \mathbf{x})\|_{2}^{2}\quad(1)$

其中 $A x$ 为一组测量(measured)的像素， $\Phi$ 为神经网络，该任务的目的是估计原始图像 $x$ .

我们通过最小化(1)来训练两个网络。其中之一是具有紧密耦合(coupled)系数的不可分离CNN。它有8层，每层有3×3×M×L参数，其中M、L分别是卷积输入和输出的通道长度。另一个是可分离的CNN，它也有8层，每层有3×3×1×M个深度方向卷积参数和1×1×M×L个点方向卷积参数。在实验中，我们将一个HSI分成20×20×{波段数}的小块(blocks)，并将其作为输入。训练是通过仔细调整超参数以获得最佳性能来进行的。使用(1)进行的训练与DIP的不同之处在于，我们按原样使用图像，而DIP从随机样本开始生成清晰的图像。

下图显示了一个填洞(hole-filling)任务的例子。图(a)和(b)分别显示了原始图像和观察结果。图(c)和(d)分别显示了不可分离和可分离的CNN的结果。这两种网络都是利用神经网络的平滑能力对空洞进行插值，即使代价只在由 $A$ 表示的采样点上进行评估。需要注意的是，即使可分离CNN层数相同，参数较少，性能也优于不可分离CNN。
在这里插入图片描述
可分离卷积捕获了一个HSI的潜在低秩结构。我们假设能够从观测值y中恢复清晰图像x的网络也具有从y+n中恢复y的能力。我们首先估计噪声图像y中噪声的标准偏差 $\sigma'$ ，并进一步将 $\tilde{σ}=(1+α)\sigma'(α< < 1)$ 添加到y中 $\tilde{\mathbf{y}}=\mathbf{y}+\tilde{\mathbf{n}}$

其中 $\tilde{\mathbf{n}} \sim \mathcal{N}\left(0, \tilde{\sigma}^{2}\right)$ ，考虑到估计误差，我们在 $[- 0.1, 0.1]$ 范围内随机采样 $α$ 值，并在训练步骤中创建训练集 $\{\mathbf{y}',\mathbf{y}\}$ . 损失函数为 $\min _{\Phi}\|\Phi(\tilde{\mathbf{y}})-\mathbf{y}\|_{2}^{2}$

其中 $\Phi$ 是可分离的CNN，这种策略有效地训练了网络并产生了足够的性能，但是我们通过每隔几百个epochs用恢复的图像替换输入图像y来进一步增强性能。

实验

我们在网络中使用了4个可分离的层。每层有100个(M=100)深度方向的核，大小为3×3×1，400个(L=400)点方向的核，大小为1×1×100，BN和ReLU。为了训练，通过旋转和翻转输入数据来扩充数据，然后将其分成20×20×{波段数}的小块。minibatch的大小为32，并且使用Adam优化器来训练网络。学习率从0.01开始，每几十个epochs学习率减半。

我们添加了标准差为 $σ = [0.05, 0.1, 0.15, 0.2, 0.25]$ 的高斯噪声，对比BM4D、FastHyDe、DIP、N2V. 表1列出了一些图像的平均PSNR值。