论文阅读笔记之——《Moiré Photo Restoration Using Multiresolution Convolutional Neural Networks》

本博文为该文的阅读笔记~（这论文的performance尚有很大的提升空间。）

先给出文章链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8356681

莫列波纹(英语：Moiré pattern)，又译为摩尔纹、莫尔条纹、叠纹、水状波纹、是一种在栅栏状条纹重叠下所产生的干涉影像。

本文中introduce a novel multiresolution fully convolutional network （多分辨率全卷积网络？） for automatically removing moiré patterns from photos.

摩尔纹会跨越range频率，这点看点有点类似于denoise

并且对于摩尔纹的去除，作者还做了一个大型的data set。

摩尔纹的产生是由于pixel之间的相互干扰，它可以表现为条纹、波纹或强度和颜色多样化的曲线叠加is the result of the interference between the pixel grids of the camera sensor and the device screen.同时，由于拍摄距离或相机方向的微小变化，摩尔条纹可能会有很大的变化

network first converts an input image into multiple feature maps at various different resolutions, which include different levels of details. Each feature map is then fed into a stack of cascaded convolutional layers that maintain the same input and output resolutions. These layers are responsible for the core task of canceling the moiré effect associated with a specific frequency band.（这些层负责取消与特定频带相关的摩尔纹的核心任务。）

从图中看来，似乎会导致过平滑？图像不够sharp？接下来继续看后面的结果

看完引言。感觉这论文的创新点就是1、用卷积网络除了摩尔纹；2、设计了一个大型的摩尔纹处理的数据集。

关于摩尔纹

When two similar, repetitive patterns of lines, circles, or dots overlap with imperfect alignment, a new dynamic pattern appears. This new pattern is called the moiré pattern

摩尔纹是一种在数码照相机或者扫描仪等设备上，感光元件出现的高频干扰的条纹，是一种会使图片出现彩色的高频率不规则的条纹。 摩尔纹因为是不规则的，所以并没有明显的形状规律。

摩尔纹是差拍原理的一种表现。从数学上讲，两个频率接近的等幅正弦波叠加，合成信号的幅度将按照两个频率之差变化。差拍原理广泛应用到广播电视和通信中，用来变频、调制等。

同样，差拍原理也适用于空间频率。空间频率略有差异的条纹叠加，由于条纹间隔的差异、重合位置会逐渐偏移，也会形成差拍。

如果感光元件CCD（CMOS）像素的空间频率与影像中条纹的空间频率接近，就会产生摩尔纹。要想消除摩尔纹，应当使镜头分辨率远小于感光元件的空间频率。当这个条件满足时，影像中不可能出现与感光元件相近的条纹，也就不会产生摩尔纹了。有些数码相机中为了减弱摩尔纹，安装有低通滤波器滤除影像中较高空间频率部分，这当然会降低图像的锐度。将来的数码相机如果像素密度能够大大提高、远远超过镜头分辨率，也不会出现摩尔纹。

摩尔现象是一种视觉现象，在有一定间隔的物体上发生的干涉条纹。在实际拍摄时就像旁边的图片那样被摄物体间隔发生了彩虹色条纹，这种现象就叫做摩尔纹现象。

在数码影像中，如果主体中有密纹的纹理，常常会出现莫名其妙的水波一样的条纹和奇怪的色彩，这就是摩尔纹（Moire）。无论是用高级数码相机拍摄的影像，或是扫描的影像，均有可能出现该现象。当物体上的细致图样（如织物上的编织纹路，或建筑物上非常靠近的平行线）与成像元件上的图样相重叠时，可产生此现象。如果两个图样重叠，通常会产生另一种新图样。这种新图样通常叫作摩尔波纹。

often occur as an artefact of images generated by digital imaging or computer graphics techniques（通常以数字成像或计算机图形技术生成的图像的假象出现。）

可参考百度百科（https://baike.baidu.com/item/%E6%91%A9%E5%B0%94%E7%BA%B9/108352?fr=aladdin）

Network Architecture

网络结构如下图所示。在不同的尺度下，作者认为不同的尺度是负责处理不同的摩尔纹（但事实需要这样吗？这点上本人保留疑问）upsample采用反卷积。

If a network deals with fine-scale features only, low-frequency components of the moiré pattern cannot be removed; if it deals with coarse-scale features only, high-frequency features of the moiré pattern cannot be removed.（如果网络仅处理细尺度特征，则无法删除摩尔条纹的低频分量；如果网络仅处理粗尺度特征，则无法删除摩尔条纹的高频特征。）

 

采用MSE LOSS（L2 loss）故此，应该会带来平滑的效果

感觉从结果上还是有可以改进的地方的