论文名字:Unpaired Screen-Shot Image Demoiring With Cyclic Moir Learning
论文下载地址:https://ieeexplore-ieee-org-443.webvpn.scut.edu.cn/document/9706222
论文代码地址:https://github.com/Hideinlab/Unpaired_image_demoireing
论文内容:利用GAN从干净图像生成摩尔图像,再训练另一个GAN从摩尔图像生成干净图像
具体内容:总体框架分为两个GAN:moire network & demoire network。前者从干净图像生成受到摩尔纹退化的图像构成一个图像对,后者利用这个图像对训练。两个GAN都属于Cycle GAN,因此一共有四个生成器和四个判别器。基本框架如下图,下面介绍模块的具体实现。
Moire network
生成器
受摩尔纹的退化影响分为两部分:强度退化、摩尔纹图案影响,因此摩尔纹生成网络也氛围两部分,即左边的强度退化和右边的摩尔纹图案生成。而摩尔纹通常在多尺度上呈现出不同的模式,因此总体采用了多尺度结构。
强度退化:
- 在最下面的分支中提取出强度直方图强度直方图(因为直方图具备尺度不变性),将其输入网络 f f f
- f f f有三层,第1、2层是FC+BN+LRelu,第三层是FC+sigmod,最终得到退化参数 α ∈ ( 0 , 1 ) \alpha \in (0, 1) α∈(0,1)
摩尔纹图案生成:
疑惑:
- 对于最大尺度(最下面)分支来说,已经经过了两次下采样,再经过类似U-net结构,信息不会太小了吗?
- 网络有三个输出结果,但是整体框架图中只有一个输出。
判别器
作者认为摩尔图案对应高频分量,因此提取出高频信息会有利于判别器分析
Demoire network
生成器
跟moire network的生成器结构反过来即可,其中的模块也和上述模块结构一致。
判别器
同moire network的判别器结构。
Loss function
Moire network
Demoire network
demoire network前两项和moire network一样,最后加了一个sobel边缘检测loss,因为摩尔纹图像周围有大量噪点,因此moire network就不加这一项损失了。
Experiments
定性定量比较
在三个数据集上测试了结果,注意,LCDMoire数据集中将训练数据集分为两份,一份只取干净图像,一份只取摩尔纹图像,其他数据集的使用方式未说明,可能默认与LCDMoire数据集一致。
消融实验
-
使用普通的cycle GAN学习从摩尔纹图像到干净图像
-
修改moire network中的循环损失函数
-
修改moire network中强度退化模块,将其删除
摩尔纹生成
-
摩尔纹生成过程。从左到右为:干净图像、退化后图像、摩尔纹模式,生成的摩尔纹图像、摩尔纹GT
-
多尺度摩尔纹生成结果
-
不同epoch生成的摩尔纹图像