DerainCycleGAN: An Attention-guided Unsupervised Benchmark for Single Image Deraining and Rainmakin

一.论文信息

论文题目《DerainCycleGAN: An Attention-guided Unsupervised Benchmark for Single Image Deraining and Rainmaking》

二.阅读心得

2.1本文解决的问题

本无通过以主干网路cycleGAN为主的无监督模型，达到对雨天图像去除雨水效果

2.2本文的创新点

• 由于cycleGAN对于picture transform 的细节问题上存在颜色和细节边缘不足问题，本文在cycleGAN基础上增加了一个attention network叫做U-ARSE（LSTM改编）
• 因为主干网络还是cycleGAN所以本文是一个无监督问题，由于在真实环境中雨水条纹并不是大小形状一致，所以很难用合成雨水图像做监督学习，达到真实环境恢复水平（有监督的缺点）
• 运用了大量多种损失函数，使得网络生成的图像细节更加丰富，去雨水效果好
• 此网络附带生成了一个成对的雨水数据集（这个是cycleGAN生成过程中consistence loss所导致的，属于正常操作，个人觉得不能算作创新点）

2.3网络的整体构架

符号说明：r表示雨图，n表示无雨图（rain-free），nr表示生成的无雨图，rn表示生成的有雨图，~r 表示有nr生成的有雨图，~n表示由rn生成的无雨图。
整体的网络架构就是一个完整的cycleGAN外加一个Attention Loss还有其他损失函数

2.4 U-ARSE attention network

这里的latt就是LSTM输出与N和Z的的一个MSE损失