【论文研读】GAN 天气迁移 Weather GAN: Multi-Domain Weather Translation Using Generative Adversarial Networks

从工作里爱了生命，就是通彻了生命最深的秘密。

---

看到分享一篇用GAN来完成天气图像的迁移，作者认为 In this paper, a new task is proposed, namely, weather translation, which refers to transferring weather conditions of the image from one category to another. 但似乎以前看到过类似天气转换的任务，换了电脑论文都找不到了，如果大家也看到过可以踊跃分享一下。
作者认为weather-cues很重要，用一个分割模块来代表weather-cues，结合一个初始化模块和一个注意力模块，最后结论效果超越了SOTA。

Weather GAN: Multi-Domain Weather Translation Using Generative Adversarial Networks
Xuelong Li, Fellow, IEEE, Kai Kou, and Bin Zhao

文章地址

---

本文希望完成不同天气情况下图像的转换，直观上来讲我觉得雪天<–>晴天的转换会比较难，因为想做出雪天的纹理会很困难。

作者在生成器里安排了三块操作，用初始化模块来绘制整体框架，用一个注意力模块来找兴趣点，文章的狠活是提出的weather-cues，作者认为weather-cues 是决定天气的真正因素。作者似乎没有安排模块关心图像质量，三个模块苦苦支撑，保证了输出结果图的基本可靠，但图像质量比较一般。

按照作者的规划，他用一个分割模块来找weather-cues，如果从逻辑上讲这样很奇怪，这个weather-cues 代表的是一个兴趣区域吗？如果直观感觉，weather-cues 似乎应该是一些比较微小的细节特征，但对于本任务来讲，很难找到pair数据，所以只能无监督学习，用real image 做一个 reference。这样的话模型很难知道自己在学什么，用一个标定的区域可以一定程度帮助到模型。

文中说weather-cues 的目标是直接人为标定出来的，如下图所示。这样的话weather-cues 似乎变成了一个天空标注，整个模型的逻辑变为找天空区域。

从结果看效果还是很好的，给出的失败例子似乎也是因为天空区域比较少。

总结

结果还有一定提升空间