一.论文信息
论文题目《DerainCycleGAN: An Attention-guided Unsupervised Benchmark for Single Image Deraining and Rainmaking》
二.阅读心得
2.1本文解决的问题
本无通过以主干网路cycleGAN为主的无监督模型,达到对雨天图像去除雨水效果
2.2本文的创新点
- 由于cycleGAN对于picture transform 的细节问题上存在颜色和细节边缘不足问题,本文在cycleGAN基础上增加了一个attention network叫做U-ARSE(LSTM改编)
- 因为主干网络还是cycleGAN所以本文是一个无监督问题,由于在真实环境中雨水条纹并不是大小形状一致,所以很难用合成雨水图像做监督学习,达到真实环境恢复水平(有监督的缺点)
- 运用了大量多种损失函数,使得网络生成的图像细节更加丰富,去雨水效果好
- 此网络附带生成了一个成对的雨水数据集(这个是cycleGAN生成过程中consistence loss所导致的,属于正常操作,个人觉得不能算作创新点)
2.3网络的整体构架
符号说明:r表示雨图,n表示无雨图(rain-free),nr表示生成的无雨图,rn表示生成的有雨图,~r 表示有nr生成的有雨图,~n表示由rn生成的无雨图。
整体的网络架构就是一个完整的cycleGAN外加一个Attention Loss还有其他损失函数
2.4 U-ARSE attention network
这里的latt就是LSTM输出与N和Z的的一个MSE损失