论文阅读笔记(IRCNN)：Learning Deep CNN Denoiser Prior for Image Restoration

论文阅读笔记(IRCNN)：Learning Deep CNN Denoiser Prior for Image Restoration

2017 CVPR Kai Zhang, Wangmeng Zuo , Shuhang Gu, Lei Zhang

论文地址：https://arxiv.org/abs/1704.03264

代码地址：
MATLAB https://github.com/cszn/IRCNN
PyTorch https://github.com/cszn/DPIR

论文内容梳理

Abstract

目标：解决底层视觉中的逆问题。

主导策略：基于模型的方法和判别学习方法

基于模型的方法能够灵活地解决各种逆问题，但需要复杂的先验知识导致耗时长；

判别学习方法测试速度快，但应用范围局限于某种特定任务。

本文思路：

训练一个快速高效的CNN去噪器，将它集成到基于模型的HQS优化方法，从而可以解决其他逆问题。

Introduction

图像退化模型：

$$y=Hx+v$$

其中，$H$为退化矩阵，$v$为标准差为σ的加性高斯白噪声。

•当H是恒等矩阵时，IR任务对应图像去噪(image denoising);

•当H是模糊算子(blurring operator),对应着图像去模糊(image deblurring);

•当H是模糊和下采样复合算子(composite operator of blurring and down-sampling),对应着图像超分辨(image super-resolution)

最大后验概率MAP：

$x$可以通过解决MAP问题求解。

$$\hat{x}=argma{x}_{x}logp(y|x)+logp(x)$$

重写公式：

$$\hat{x}=argmi{n}_x\frac{1}{2}||y-Hx|{|}^2+\lambda \Phi (x)$$

其中，保真项$\frac{1}{2}||y-Hx|{|}^2$，正则项$\Phi (x)$，平衡参数$\lambda$。

保真项保证解符合退化过程，正则项强制了输出的属性。

补充MAP公式推导：
$$P(x|y)=\frac{P(y|x)P(x)}{P(y)}$$

$$\begin{gathered} {\hat{x}}_{MAP}=argmaxP(x|y) \\ =argmin-logP(x|y) \\ =argmin-logP(y|x)-logP(x)+logP(y) \\ =argmin-logP(y|x)-logP(x) \end{gathered}$$
补充：由于$logP(y)$与$x$因此无关可以省略。
半二次方分裂法HQS：

接下来使用HQS将保真项和正则项解耦。

将正则项中的原始变量进行变量替换，增加二次惩罚项，从而去耦合。

$$\hat{x}=argmi{n}_x\frac{1}{2}||y-Hx|{|}^2+\lambda \Phi (x)$$

引入辅助变量z,将惩罚项中的x替换成z：

$$L_u(x,z)=\frac{1}{2}||y-Hx|{|}^2+\lambda \Phi (z)+\frac{\mu }{2}||z-x|{|}^2$$

迭代求解：

$$x_{k+1}=argmi{n}_x||y-Hx|{|}^2+\mu ||z-x|{|}^2$$

$$z_{k+1}=argmi{n}_z\frac{\mu }{2}||z-x_{k+1}|{|}^2+\lambda \Phi (z)$$

将$x_{k+1}$的迭代公式$x_{k+1}=argmi{n}_x||y-Hx|{|}^2+\mu ||z-x|{|}^2$对$x$求偏导取0，得到直接解：

$$x_{k+1}=(H^{T}H+\mu I{)}^{-1}(H^{T}y+\mu z_k)$$

将$z_{k+1}$的迭代公式$z_{k+1}=argmi{n}_z\frac{\mu }{2}||z-x_{k+1}|{|}^2+\lambda \Phi (z)$进行重写，对应于噪声水平为$\frac{\lambda }{\mu }$的高斯降噪器对图像$x_{k+1}$进行去噪：

$$z_{k+1}=Denoiser(x_{k+1},\sqrt{\frac{\lambda }{\mu }})$$

CNN Denoiser:

•使用Dilated Filter增大感受野

•使用批量归一化和残差学习加速训练

•使用小尺寸样本训练避免边缘伪影

•学习小噪声水平间隔的去噪模型

网络的三种blocks:

•扩张卷积+ReLU

•扩张卷积+批量归一化+ReLU

•扩张卷积

补充扩张卷积：

扩张卷积（Dilated Conv）:

上图为3×3的内核，扩张因子分别为1，2，3的扩张卷积。

卷积核的参数个数保持不变，感受野的大小随扩张因子增加而增大。

噪声水平：

原文：在噪声水平范围 [0, 50] 上训练了一组降噪器，并将其除以每个模型的步长 2，从而为每个灰度和彩色图像先验建模生成一组 25 个降噪器。

思考：训练时针对每一个噪声级都训练一组降噪器,在应用的时候论文作者假设输入图像的噪声水平已知，选择一个已训练好的某个噪声水平的降噪器使用。

Experiments:

图像去噪：

数据集：400 BSD images, 400 validation set of ImageNet database, 4744 images of Waterloo Exploration Database

图像裁成35×35的大小，选择N=256×4000张训练，并添加高斯噪声。

灰度图上测试去噪效果结果与 基于模型的两种方法：BM3D和WNNM，判别学习的两种方法：MLP和TNRD作对比。

彩色图上测试去噪效果与 CBM3D对比。

运行时间测试与BM3D和TNRD对比。

图像去模糊：

使用模糊核，再添加噪声水平为σ的加性高斯噪声。

与一种判别学习方法：MLP，三种基于模型的方法：IDDBM3D、NCSR、EPLL对比。

测试图像：三个灰度图，三个彩图。

图像超分辨：

使用超分辨的经典图像退化设置：

双三次(bicubic)下采样(matlab函数imresize的默认设置)，比例因子为2和3，并通过7×7的标准差为1.6的高斯核进行模糊处理，然后使用比例因子3的下采样。

$x_{k+1}=x_k-\alpha (y-x_k{\downarrow }_{sf}){\uparrow }_{bicubic}^{sf}$

${\downarrow }_{sf}$表示具有降尺度因子sf的退化算子，${\uparrow }_{bicubic}^{sf}$表示具有升尺度因子的双三次插值算子，α为步长。

重复上式五次再去噪。

对比：两种基于CNN的判别学习方法：SRCNN、VDSR,一种基于统计预测模型的判别学习方法:SPMSR,一种基于模型的方法：NCSR，一种基于降噪先验的方法：SRBM3D。