【飞桨】【论文复现】百度顶会论文复现营之论文精读：U-GAT-IT论文笔记

最新推荐文章于 2021-12-26 19:14:18 发布

JavonChen

最新推荐文章于 2021-12-26 19:14:18 发布

阅读量726

点赞数

本文链接：https://blog.csdn.net/Javon1/article/details/107827361

版权

本文详细介绍了U-GAT-IT论文，它提出了一种无监督图像到图像转换方法，引入了Attention机制和AdaLIN算法。论文中，生成器和判别器都包含Attention，通过AdaLIN增强模型鲁棒性，损失函数包括对抗损失、循环一致性损失等。实验结果展示了不同归一化方法对图像转换效果的影响。

摘要由CSDN通过智能技术生成

【论文题目】U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation

【作者】Junho Kim, Minjae Kim, Hyeonwoo Kang, Kwanghee Lee

【来源】 ICLR 2020

【文档链接】https://arxiv.org/abs/1907.10830

【代码链接】

TensorFlow版本：https://github.com/taki0112/UGATIT
Pytorch版本： https://github.com/znxlwm/UGATIT-pytorch

【论文复现营课程连接】https://aistudio.baidu.com/aistudio/education/group/info/1340

一背景介绍

1.1 论文工作

论文针对两个不同域内映射图像的功能提出了一种新的无监督图像跨域转换方法，主要的创新点如下：

（1）通过在原始GAN中添加辅助分类器从而将Attention机制引入网络

（2）提出新的可学习的归一化方法AdaLIN，增强模型鲁棒性

1.2 相关前置论文

GAN paper
cycleGAN paper
Batch-Instance Normalization(BIN) paper

二论文解析

2.1 模型结构

模型分为生成器和判别器两部分，结构几乎一致。其中生成器多出了Decoder模块，也就是论文引入的AdaLIN算法实现模块。以生成器为例，网络输入的图像通过通过Encoder编码阶段（下采样+残差模块）得到特征图，然后添加一个辅助分类引入Attention机制通过特征图的最大池化，经过全连接层输出一个节点的预测，然后将这个全连接层的参数和特征图相乘从而得到Attention的特征图。最后经过Decoder模块得到输出图像。

生成器

让 $x\in \{ X_{x}, X_{t} \}$ 表示来自源域和目标域的样本。论文的生成器模型 $G_{s \rightarrow t}$ 由编码器 $E_{s}$ 、解码器 $G_{t}$ 和辅助分类器 $\eta _{s}$ 组成，其中 $\eta _{s} (x)$ 表示来自 $X _{s}$ 的概率。假设 $E_{s}^{k}(x)$ 是编码器的第k个激活映射， $E_{s}^{k_{ij}}(x)$