DMCNN–2018TIP

论文题目：

Moiré Photo Restoration Using Multiresolution Convolutional Neural Networks
基于多分辨率卷积神经网络的摩尔纹图像复原

1. Introduction

拍摄高质量图片，会受到摩尔纹的影响，摩尔纹存在的一些特点和难点，导致一些传统方法不适用。本文引入了一种基于多分辨率卷积神经网络的去除方法。
因为摩尔纹跨越很大的频率范围，所以网络首先将输入图像转换为不同分辨率的特征图，每个特征图送入级联卷积堆栈，这些层保持相同的输入和输出重建，不同分辨率最终上采样到输入分辨率，并融合一起作为最终输出图像。
本文两个主要贡献：提出了一个新的去摩尔纹框架，创建了一个新的大数据集。

2. Background and related work

2.1 The moire Effect
阐述了摩尔纹的基本原理和常见问题，例如屏幕网格和相机网格像素重叠。各种拍摄和显示图像的数码设备普遍都是像素阵列结构，无论电视电脑的屏幕，扫描仪投影仪，还是手机和数码相机里面的传感器，都是由一个个周期性的像素单元组成，它们都可以看成是高频率阵列图案。而当这些“高频率阵列图案”彼此组合，或者再遇上别的什么密密麻麻的细节图像，各种魔性的摩尔纹效果就出现了。

2.2 Related Work
(1) Moire Pattern Removal
阐述了此前的一些研究，介绍了各自的优缺点。
(2) Image Decsreening
图像去筛选旨在从使用半色调打印图像的扫描版本重建高质量图像。半色调通常涉及二元颜色，扫描视角距离固定，因此很难解决摩尔纹。
(3) Texture Removal
同样由于摩尔纹图像的高频率和宽范围，纹理去除算法也不太容易解决问题。
(4) Image Restoration
去摩尔纹也可以看做是一种图像重建的应用，去除摩尔纹重建未受污染的图像，需要根据本任务的特点来设计重建方法。

3. Multiresolution Deep CNN For Moire Pattern Removal

包含并行多分辨率分支，开始的两个卷积层下采样，形成倒置金字塔，与传统的相比，本文使用的是非线性滤波器(卷积核+非线性激活函数)。当需要降低分辨率时，都是使用的stride为2的kernel，并没有使用池化操作。将输入图像转换为不同的分辨率级别是为了显示不同级别的细节特征。
在每个branch中，前两层输出被输入到级联卷积层中，这些层保持相同的输入输出分辨率且不执行任何上下采样或池化操作。这些层主要负责消除摩尔效应的特定频带任务。设置的每个卷积层具有3X3kernels和64个channels。
但除了第一个branch之外，需要提高其他特征图的分辨率到原始分辨率。本文采用的是反卷积操作，将所有并行branch输出结果组合到一起，形成完整输出图像。每一层后面都有一个ReLu层，确保输出尺度。

4. Dataset

本文创建了具有135000张图片的数据集，每张图片采用黑色边框进行了增强并显示在屏幕中央，因为深色受摩尔纹影响较小。为了增加对齐角点数量，对每个黑色边界挤出一个黑色块。
由于制作的参考图像具有不同的分辨率和透视失真，所以需要进行图像配准。依靠黑色图的边界角来完成配准工作。因此，拍照图像和参考图像中的对应点通过单应性关联，单应性可以用8个自由度的3×3投影矩阵表示。附加到图像边界的四个黑色块将非共线对应点的数量从4个增加到20个，这可以提高配准精度。使用这20个角来计算投影矩阵，并进一步对齐每对图像。

5.Model Understanding and Implementation

开始时试了U-Net中的skip操作，但摩尔纹图像与真实图像相关性可以显著不同，所以跳跃连接并没有很好的发挥效果，同时靠近输入的层具有严重的纹影响，直接使用近层可能会在最终结果引入伪影。
PyramidCNN也采用了多分辨率架构,将输入图像线性下采样到K分辨率,然后同时训练不同分辨率的分支。但较粗级别的输出也会存在摩尔纹,所以本文潜入了多分辨率金字塔。与使用线性滤波构建的传统图像金字塔相比，本文的体系结构中的图像金字塔实际上是使用非线性滤波构建的，因为非线性激活始终跟随每个卷积层。金字塔中的非线性允许网络在下采样期间更有效地执行。更重要的是，在本文的网络中，每个分辨率都与一个网络分支相关联，其中六个堆叠卷积层保持相同的分辨率。这样的网络分支能够执行复杂的非线性变换(例如去除特定频带内的摩尔纹)，并且比U-Net中的skip更强大。