论文阅读：Simltaneous Fidelity and Regularization Learning for Image Restoration

Simltaneous Fidelity and Regularization Learning for Image Restoration

写在最前面：
本文主要是对论文阅读的记录，方便日后的查阅等工作。

1.概述

在本文中，我们提出了一种算法，可有效处理具有部分已知或不准确退化的图像恢复。我们提出了一个灵活的模型来参数化保真项，以表征残差图像的空间依赖性和复杂的残差分布。通过结合参数化的正则化项来开发同时保真度和正则化学习模型。通过一组退化的和真实的图像对，可以以任务驱动的方式学习SFARL的特定于任务的和阶段性的模型参数。关于两个图像恢复任务（即图像去卷积和去除雨水条纹）的实验结果表明，在定量指标和视觉质量方面，SFARL模型的性能优于最新方法。高斯降噪实验表明，SFARL方法可以有效改善视觉感知指标和降噪结果的视觉质量。
这篇文章运用了大量的数学公式进行了推导，是一种传统的非网络的学习方法完成图像的复原工作。

2.实现

SFARL模型在三种图像复原任务（分别是模糊图像、退化图像、鱼条图像）下分别与Gound-truth以及先进的方法对比。

2.1 保真项

2.2 正则项

2.3 SFARL模型

损失函数：

2.4 SFARL模型算法

3.SFARL训练

3.1 迭代用于实现内部优化

采用梯度下降的方法完成优化
其中前一项等于：

3.2 参数

正则化项：

保真项：

其中，∏和w是权重系数，μ是实数值，γ是精度参数。
f和p是DCT系数和约束的线性组合。

3.3 贪婪训练

首先对模型进行逐级训练，根据下式的约束条件进行梯度的计算。

偏差计算：

根据损失函数进行计算，MSE损失部分：

负SSIM部分：

前项与上述计算方法类似。

权重系数

总的梯度：

滤波器p

这一块原文中有大量的公式推导。

非线性参数

其中，

最终得到：

算法结构

经过贪婪训练我们可以得到一组SFARL模型的参数，但它并不够完善，需要再进行进一步的优化。

3.4 联合微调

在这一部分的训练损失函数定义为：

其中T是最大迭代次数。同时梯度的计算要满足约束条件：

用矩阵形式计算上式进行表达：

算法结构

4.实验结果

对于SFARL模型，在本文的实验中，对正则项和保真项都使用了7*7的滤波器。贪婪训练中，使用10阶的SFARL实现图像去卷积，5阶的用于雨纹去除以及高斯去噪。同时，在训练SFARL时，贪婪训练每个阶段以10步结束，联合微调中则是50步。以学习率为0.001，β1=0.9，β2=0.99的参数使用ADAM优化SFARL模型。

4.1 不准确模糊核的去卷积

对于不确定模糊核的去卷积，使用如表格所示的两种模糊核估计方法进行对比。同时从BSD数据集中选出200清晰图像添加8种模糊核来建立训练数据集。设置高斯噪声的σ 为0.25 来生成模糊图像。也就是说，共有1600个训练样本。为了保证训练样本的质量，我们对每一种图像去卷积方法随机选取错误率为3以上的500个样本。

4.2 多重退化去卷积

4.3 单幅图像的雨纹去除

4.4 收敛

4.5 损失函数

这部分训练了两个SFARL模型，除了训练损失外，它们具有相同的设置。即（SFARL-MSE）和（SFARL-SSIM）两个模型。 这两个SFARL模型使用同一数据集进行训练和测试的。 SFARL-MSE导致更高的平均PSNR值，而SFARL-SSIM在SSIM指标方面表现更好。 此外，SFARL-SSIM比SFARL-MSE可以更好地消除雨水条纹，例如，图9中的天空区域，表明负SSIM损失对于获得具有较高视觉质量的结果有效

综上，文章主要使用了大量的数学推导，设计实现了一种算法SFAERL模型，通过贪婪训练得到一组SFARL的参数值，然后通过联合微调完成参数的优化，最终得到的效果比较好。