U-GAT-IT论文解读（飞浆）

论文主要贡献

解决了无监督的图像翻译问题，当两个域的图像的纹理和形状差别很大时，现有的一些经典模型(CycleGan、UNIT、MUNIT、DRIT等)效果不佳，这些算法适用于两个域的差别不大时，如Photo2Vangogh和Vhoto2Portriat，而Cat2Dog和Selfie2Anime(自拍到漫画)效果不好，本文通过引入attention module和AdaLIN（Adaptive Layer-Instance Normalization）能在几何形变很大的情况下仍然有好的效果，当然形变不大时效果也超过了现有的经典方法，达到SOTA；同时本文的网络结构和超参数在所有实验的数据集上是不变的，而现有的经典方法则需要精细化调参。

模型结构

生成器

首先图像经过一个下采样模块，然后经过一个残差块，得到编码后的特征图，编码后的特征图分两路，一路是通过一个辅助分类器，得到有每个特征图的权重信息，然后与另外一路编码后的特征图相乘，得到有注意力的特征图。注意力特征图依然是分两路，一路经过一个1x1卷积和激活函数层得到黄色的a1…an特征图，然后黄色特征图通过全连接层得到解码器中 Adaptive Layer-Instance Normalization层的gamma和beta，另外一路作为解码器的输入，经过一个自适应的残差块（含有Adaptive Layer-Instance Normalization）以及上采样模块得到生成结果。

判别器

具体结构与生成器类似，不过规范化使用的是谱规范化，使训练更加稳定，收敛得更好，激活函数使用的是leakyrelu。

损失函数

损失函数总共有四个，分别是Adversarial loss， Cycle loss， Identity loss以及CAM loss。
Adversarial loss:对抗损失没有采用原始的log函数，使用的是MSE.

Cycle loss:
Identity loss:cycle-gan架构下的环一致性loss，A翻译到B，然后B翻译到A‘，A和A’需要相同，loss采用的是L1loss.

Identity loss保证了输入图像A和输出图像B的颜色分布是相似的.

CAM loss
生成器和鉴别器的CAM loss有些不同:
生成器CAM loss，采用的是BCE_loss:

鉴别器CAM loss, 采用的是MSE，没有论文中log函数：

用CAM的原因是利用辅助分类器ηs和ηDt的信息，给定一个图像x∈{Xs,Xt}，Gs→t和Dt了解它们需要改进的地方，或者在当前状态下两个域之间的最大区别是什么。

实验结果

第一行是原图，第二行是热力图，第三行是生成的图像，例子中包括人脸到动漫，马到斑马，猫到狗，人脸到画等等，由于网络采用cycle-gan的形式，所以可以互转（动漫到人脸）。

https://www.cnblogs.com/fydeblog/p/11424404.html
https://aistudio.baidu.com/aistudio/education/preview/511721
https://aistudio.baidu.com/aistudio/education/group/info/1340
http://adrai.github.io/flowchart.js/