百度顶会论文复现营,使用百度飞浆平台复现感兴趣的论文,方向有两个,GAN和视频分类,最近对GAN比较感兴趣,所以选择了GAN的有关论文。《Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normaliza》,利用 GAN 的新型无监督图像转换。不知道最后能不能复现出来,,
引入:
图像到图像转换可以应用在很多计算机视觉任务,图像分割、图像修复、图像着色、图像超分辨率、图像风格(场景)变换等都是图像到图像转换的范畴。生成对抗网络不仅仅在模型训练的收敛速度上,同时在图像转换质量上展示了优越的结果。这些优越性能相比 Pixel CNN、VAE、Glow 都是具有很大竞争力的。所以近年来的围绕 GAN 实现图像转换的研究是很多的,例如 CycleGAN、UNIT、MUNIT、DRIT、FUNIT、SPADE。图像转换是 GAN 铺开应用的第一步,跨模态间的转换,文本到图像、文本到视频、语音到视频等,凡是这种端到端,希望实现一个分布到另一个分布转换的过程,GAN 都是可以发挥一定的作用的。图像到图像的转换到目前为止还是具有一定挑战性的,大多数的工作都围绕着局部纹理间的转换展开的,例如人脸属性变换、画作的风格变换、图像分割等,但是在图像差异性较大的情况下,在猫到狗或者是仅仅是语义联系的图像转换上的表现则不佳的。 这就是图像转换模型的适用域问题了,实现一个具有多任务下鲁棒的图像转换模型是十分有必要的。文章中 U-GAT-IT 正是为了实现这种鲁棒性能设计的。
首先是引入注意力机制,这里的注意力机制并不传统的 Attention 或者 Self-Attention 的计算全图的权重作为关注,而是采用全局和平均池化下的类激活