基于先验驱动深度神经网络的图像复原去噪

RrS_G

已于 2022-06-26 11:37:30 修改

阅读量1.2k

点赞数 3

文章标签： dnn 人工智能神经网络

于 2022-06-26 11:12:18 首次发布

本文链接：https://blog.csdn.net/RrS_G/article/details/125305478

版权

一、引言

图像恢复(IR)问题旨在从低质量的观测数据中重建出高质量的图像，从数学上讲，IR问题可以表示为y = Ax+n，其中y和x分别表示退化图像和原始图像，A表示与成像/退化系统相关的退化矩阵，n表示加性噪声。对于A的不同设置，可以表示不同的IR问题。例如，当A是一个单位矩阵时，IR问题是一个去噪问题。当A是模糊矩阵，IR问题是去模糊问题。A是一个下采样矩阵，则IR问题是超分辨问题。

一般来说，现有的IR方法主要分为两大类：基于模型的方法和基于学习的方法。

基于模型的方法通过解决优化问题来解决这个问题，优化问题通常是从贝叶斯的角度构建的。通过最大化后验P(xly)得到解，可表示为

其中logP(y|x)和logP(x)分别表示数据似然项和先验项。形式上，式(1)可以改写为

式中J(x)表示与先验P(x)相关联的正则化器。

基于学习的IR方法通过学习映射函数来从观测图像中推断缺失的高频细节或所需的高质量图像。利用深度卷积神经网络(DCNN)学习退化图像到原始图像的映射函数展示了很好的效果，但是DCNN方法在适应不同的图像恢复任务方面缺乏灵活性，因为数据似然项没有被明确利用。为了解决这一问题，将基于优化的方法和DCNN去噪相结合的混合IR方法被提出。

二、相关工作

这节简要介绍了与本文方法相关的IR方法，即基于去噪的IR方法和基于判别学习的IR方法。

A、基于去噪的IR方法

通过将(2)的优化问题解耦为两个子问题，一个用于数据似然项，另一个用于先验项，基于去噪的IR方法允许使用更复杂的图像先验。通过引入辅助变量v，可以将式(2)改写为

在[26]，[30]中，利用ADMM技术将上述等约束优化问题转化为两个子问题

u表示增广拉格朗日乘子，更新为 $u^{(t+1)}=u^{(t)}+\rho(x^{(t+1)}-v^{(t+1)}).$

通过交替更新x和v直至收敛，求解Eq.(2)的原始优化问题。

尽管基于去噪的IR方法在利用最先进的图像先验方面非常灵活和有效，但它们需要大量的迭代来收敛，且不能对整个分量进行联合优化。

B、基于深度网络的IR方法

受DCNNs在图像分类、目标检测、语义分割等方面的巨大成功的启发，DCNNs也被应用于低级图像处理任务。

三、一种基于去噪的图像恢复算法

本节介绍一种有效的迭代算法来解决基于去噪的IR方法，基于此，下一节将介绍前馈DNN。

考虑式(3)基于去噪的IR问题，作者将等约束优化问题转化为无约束优化问题，即

上述优化问题可通过交替求解以下两个子问题来求解：

其中x子问题是一个封闭求解的二次优化问题，即 $x^{(t+1)}=W^{-1}b$ ，这里的W和A有关。通常W很大，基本不可能计算出它的逆矩阵。这里可以使用共轭梯度(CG)算法来计算 $x^{(t+1)}$ ，但这需要多次迭代来计算 $x^{(t+1)}$ 。

因此作者提出用梯度下降法计算 $x^{(t+1)}$ 的非精确解，而不是求x子问题的精确解：

其中δ是控制步长的参数， $\overline{A}=[(1-\delta \eta )\boldsymbol{I}-\delta A^{\top}A]$ 。

v子问题是计算在 $x^{(t+1)}$ 点的J(v)的接近算子，作者谈到其解可以通过去噪得到，即 $v^{(t+1)} = f(x^{(t+1)})$ ，其中f(·)表示降噪器。

具体算法如下：

定理1、考虑能量函数

假设ξ是有下界的和强制性的，对于算法1， $(x^{(t)},v^{(t)})$ 有一个子序列，在降噪器f(·)满足下列充分下降条件下，子序列收敛于能量函数的一个平稳点:

其中 $c_2> 0$ ， $\widetilde{\bigtriangledown}_v \xi (x,\cdot )$ 是ξ的连续的极限次梯度。

下面列出一些满足(9)的函数J和映射f的组合：

(1)、J是L-Lipschitz可微映射， $f:(x,v) \mapsto v-\alpha\bigtriangledown _v \xi (x,v)$ 为梯度下降映射，如果 $\xi (x,v)$ 对于v是凸的，则 $\alpha \in(0,\frac{2}{\eta +L})$ ，否则 $\alpha \in (0,\frac{1}{\eta +L})$ 。

就简单介绍一个。其它略。

四、先验驱动深度神经网络的去噪

一般来说，算法1需要多次迭代才能收敛，且计算成本较高。此外，参数和去噪不能以端到端训练的方式联合优化。为了解决这些问题，这里作者提出将算法1展开为如图1(a)所示的架构的深度网络。

该网络精确地执行T次迭代算法1。输入的退化图像 $y \in \mathbb{R}^{n_y}$ 首先通过退化矩阵 $A \in \mathbb{R}^{n_y \times m_x}$ 参数化的线性层，得到初始估计 $x^{(0)}$ 。然后将 $x^{(0)}$ 送入去噪模块和矩阵 $\overline{A} \in \mathbb{R}^{m_x \times m_x}$ 参数化的线性层。然后将去噪后的 $\delta _{1,1}$ 加权信号 $v^{(1)}$ 通过快捷连接与线性层 $\overline{A}$ 和 $\delta _{1,2}$ 加权的 $A^{\top}y$ 的输出相加，得到更新后的 $x^{(1)}$ 。去噪模块的结构如图1(b)所示。这样的过程重复T次。对于去噪模块，由于使用的是基于dcnn的去噪模块，它包含大量的参数，作者强制所有去噪模块共享相同的参数，以避免过拟合。

A、DCNN去噪

去噪网络如图1(b)所示，它包括两部分：特征提取和图像重建部分。

在特征提取部分，通过一系列卷积层和下采样层来降低特征图的空间分辨率。

图像重建部分还包含一系列卷积层，然后是上采样层，以提高特征图的空间分辨率。由于最终提取的特征图丢失了大量的空间信息，直接根据提取的特征重建图像无法恢复出精细的图像细节。为了补偿丢失的空间信息，将编码阶段生成的相同空间分辨率的特征映射与解码阶段生成的上采样特征映射融合，得到新的上采样特征映射。然后将上采样的特征映射与编码部分相同空间分辨率的特征映射进行融合。具体地说，融合是通过拼接特征图来进行的。该方法利用去噪网络对残差进行预测，而不是直接重建原始图像，结果表明该方法具有更强的鲁棒性。为此，增加了一个从输入到重建图像的跳跃式连接。

B、整体网络培训

注意DCNN去噪器不需要预先训练。图1(a)所示的整体深度网络是通过端到端训练来训练的。为了减少参数的数量从而避免过拟合，作者强制每个DCNN去噪器共享相同的参数。采用均方误差(MSE)的损失函数训练所提出的深度网络，可表示为

其中 $y_i$ 和 $x_i$ 分别表示第i对退化和原始图像补丁， $\mathcal{F}(y_i;\Theta )$ 为参数为Θ的网络重建的图像。

五、实验

A、消融实验

为了展示退化矩阵A初始化的效果，作者使用两种类型的初始化实现了所提出的网络，即初始化与退化矩阵A相关的线性层(记为DPDNN-A)和随机初始化(记为DPDNNRandom)。表一显示了结果：

本文还对初始化去噪的影响进行了消融研究，即使用预先训练的去噪(记为DPDNN-Pretrain)或随机初始化的去噪(记为DPDNN-Random)实现所提出的网络。表II ~ IV分别显示了本文方法对图像去噪、SR和去模糊任务的平均PSNR结果。

图像去噪：

超分辨：

去模糊：

从表II~表IV可以看到，降噪的两次初始化也会得到相似的结果。上述两个消融研究表明，所提出的网络对参数的初始化不敏感。这是因为网络参数的数量是可控的，而且每个去噪器共享相同的参数。

为了显示加入退化模型的效果，本文还训练了去噪网络的图像去模糊和SR。去噪网络结构如图1(b)所示。作者将去噪网络(称为Den-network)与提出的DPDNN进行图像去模糊和SR比较。比较结果如表V ~ VI所示。

从表V ~ VI可以看出，本文提出的DPDNN方法比去噪网络的性能要好得多，显示出将退化模型纳入网络的优势。

B、图像去噪

对于图像去噪， $A=I$ 和算法1简化为迭代去噪过程，即将加权噪声图像加回去噪图像，进行下一个去噪过程。这种迭代去噪方法比传统的只去噪一次的去噪方法有了改进。

表VII给出了两种竞争方法对图2所示的一组常用测试图像的PSNR结果。

可以看出，MemNet方法在低噪声水平上可与DnCNN-S方法媲美，在高噪声水平上优于DnCNN-S方法。本文提出的网络平均性能略优于MemNet方法。

为了进一步验证该方法的有效性，作者还使用了包含68幅自然图像的Berkeley分割数据集(BSD68)进行对比研究。表VIII给出了各测试方法在BSD68上的平均PSNR和SSIM结果。

经过测试方法去噪后的部分图像如图3-4所示。

C、图像去模糊

为了训练提出的网络进行图像去模糊，作者首先用模糊核对训练图像进行卷积，生成模糊图像，然后从模糊图像中提取大小为120 x 120的训练图像补丁。在模糊图像中加入标准差为σn的加性高斯噪声。采用翻转和旋转的Patch扩增，总共产生了45万个Patch用于训练。考虑两种类型的模糊核，即标准差为1.6的25 × 25高斯模糊核和[65]中采用的两个尺寸为19 × 19和17×17的运动模糊核。

本比较研究涉及的测试图像如图5所示。

表IX报告了各种去模糊测试方法的PSNR结果。

对于噪声水平较高的运动模糊核，本文方法略差于DD-CNN方法，但是作者提到DD-CNN方法需要更多的迭代才能得到满意的结果。

经过竞争方法处理后的部分图像如图6-8所示。从图6-8可以看出，与其他方法相比，本文方法不仅产生了更清晰的边缘，而且恢复了更多的细节。

D、图像超分辨率

对于图像超分辨率，本文考虑了两种图像子采样算子，即双三次下采样和高斯下采样。

表X报告了双三次下采样测试方法的PSNR结果。

表十一报告了比例因子为3的高斯下采样测试方法的PSNR结果。

代码参考(非官方代码)：image-restoration-DPDNN/model-checkpoint.ipynb at master · richardshuai/image-restoration-DPDNN (github.com)

RrS_G

关注

3
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
基于先验驱动深度神经网络的图像复原去噪

目录一、引言二、相关工作A、基于去噪的IR方法B、基于深度网络的IR方法三、一种基于去噪的图像恢复算法四、先验驱动深度神经网络的去噪A、DCNN去噪B、整体网络培训五、实验A、消融实验B、图像去噪C、图像去模糊D、图像超分辨率图像恢复(IR)问题旨在从低质量的观测数据中重建出高质量的图像，从数学上讲，IR问题可以表示为y = Ax+n，其中y和x分别表示退化图像和原始图像，A表示与成像/退化系统相关的退化矩阵，n表示加性噪声。对于A的不同设置，可以表示不同的IR问题。例如，当A是一个单位矩
复制链接

扫一扫

基于先验驱动深度神经网络的图像复原去噪

一、引言

二、相关工作

A、基于去噪的IR方法

B、基于深度网络的IR方法

三、一种基于去噪的图像恢复算法

四、先验驱动深度神经网络的去噪

A、DCNN去噪

B、整体网络培训

五、实验

A、消融实验

B、图像去噪

C、图像去模糊

D、图像超分辨率

“相关推荐”对你有帮助么？