FDNet-NIPS2020

论文题目：

Self-Adaptively Learning to Demoiré from Focused and Defocused Image Pairs

1. Introduction

本文的main contributions：提出了一种自适应学习方法去摩尔纹，使用无摩尔纹散焦图像作为额外输入；建立了一个新数据集，包括屏幕图像和高频纹理图像；不需要训练阶段，可以方便的应用到智能设备。

2. Related Work

Image Demoireing、Joint Filtering、Self-Adaptive Learning、Blind Deblurring

3. The Proposed Method

首先介绍了公式，设计了网络结构，最后给出了算法
3.1 Problem Formulation
当图像散焦时，图像模糊在同一深度上是空间不变的，模糊图像B可表示为

C是clean图像，K是模糊核，N σ是加性高斯噪声，叉乘是2D卷积。在相机未校准情况下，需要从模糊图像B中估计K和C。
当图像聚焦时，摩尔纹可能出现，设计了去噪网络D获得clean图像，如下，所以模糊图像B可以表示为。因此模糊图像B是通过先从M聚焦图像中去摩尔纹，然后与模糊核K卷积获得，可以不使用clean图像作为ground truth而学习网络。

受DIP框架启发，设计了生成网络GK来捕获模糊核K作为先验，最后公式化为：

但仅仅优化并不能保证良好的去摩尔纹效果，因此将以下约束添加到模糊核：

3.2 Network Structure

本文的网络结构如上图所示，输入带摩尔纹的聚焦图片，D是类似U-Net网络的结构，包含五层跨连接的编码器-解码器结构，使用sigmod卷积层输出无摩尔纹图像C。对于网络GK，模糊核的信息非常少，采用三层FCN作为GK，其采用200维矢量噪声输入，softmax应用GK输出层，确保等式的约束。
3.3 Optimization Algorithm
上面所述的最小化函数可以视作自适应方法，仅使用散焦和聚焦图像，通过网络D和GK迭代找到更好的传中，使D产生越来越少的摩尔纹图像。

4. A New Dataset

本文创建了一个新数据集来定量定性评估。合成数据中，屏幕摩尔纹从TIP2018采样，为了合成无摩尔纹散焦图像，使用高斯平滑核和加性高斯噪声应用无摩尔图像。
对于纹理摩尔纹图像，从网上搜集，使用相同方法合成散焦。具体细节可参考论文。

5. Conclusion

总的来说，本文的方法可以视作一种联合滤波方法，采用聚焦和散焦两个图像输入，散焦图像提供了重要的结构信息，摩尔纹可以视为覆盖在无摩尔纹图像的新结构，以散焦图像为导向，去噪网络可以增强原始结构信息，抑制摩尔纹。