【PaddlePaddle飞桨复现论文】【U-GAT-IT】(一)论文阅读

最新推荐文章于 2024-04-22 22:11:39 发布
最新推荐文章于 2024-04-22 22:11:39 发布
阅读量446 收藏
点赞数 1
分类专栏： paddlepaddle GAN 文章标签： 深度学习 paddlepaddle cv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21392965/article/details/107845633
版权

U-GAT-IT论文阅读

论文复现课程链接为：https://aistudio.baidu.com/aistudio/education/group/info/1340

U-GAT-IT算法源自论文U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation

模型地址：https://github.com/znxlwm/UGATIT-pytorch

简介

U-GAT-IT是一种 端到端的 无监督 图像到图像转换方法

研究背景

图像到图像的翻译（Image-to-Image Translation）旨在学习两个不同域中图像的映射，包括图像修复，超分辨率，灰度图着色，风格迁移。当给出配对样本时，可以使用条件生成模型，以监督方式训练映射模型，在没有配对数据的无监督环境下，需要进行多项工作，例如使用共享潜在空间翻译图像（Liu et al.（2017））和周期一致性假设（Kim et al.（2017）; Zhu等人（2017））等。

问题发现
先前的方法显示出性能差异，具体取决于域之间形状和纹理的变化量。例如，它们对于映射局部纹理（例如photo2vangogh和photo2portrait）的样式转换任务是成功的，但通常对于野外图像中形状变化较大的图像翻译任务（例如，selfie2anime和cat2dog）而言是不成功的。因此，通常需要通过限制数据分布的复杂度来避免图像分割和对齐等预处理步骤（Huang et al.（2018）; Liu et al.（2017））。此外，现有的方法（例如DRIT）（Lee et al.（2018））不能通过固定的网络架构获得既保留形状的图像翻译（例如horse2zebra）也无法获得改变形状的图像平移(如cat2dog)的理想结果。网络结构或超参数设置需要针对特定的数据集进行调整。

基线模型

CycleGAN (Zhu et al. (2017))
UNIT(Liu et al. (2017))
MUNIT (Huang et al. (2018))
DRIT (Lee et al. (2018))
AGGAN (Mejjati et al.(2018))
CartoonGAN (Chen et al. (2018))

突出贡献

  • 新的注意力模块
  • 新的归一化函数AdaLIN
  • 注意力模块通过基于辅助分类器获得的注意力图，区分源域和目标域，帮助模型知道在何处进行密集转换
  • AdaLIN函数使得注意力引导模型灵活地控制形状和纹理的变化量，而无需修改模型架构或超参数

AdaLIN

AdaLIN是由AdaIN和LN结合而来。在进行特征的风格转换时，常用的方法是Whitening and Coloring Transform (WCT)，但WCT需要计算协方差矩阵和逆矩阵，消耗的计算资源很多，因此作者使用AdaIN来代替。由于AdaIN假设不同的特征通道是不相关的，因此计算会快很多。而LN则会考虑不同特征间的相关性。但LN只考虑了feature map的全局统计信息，导致有时候它不能保留源域的内容结构信息。因为文章提出了AdaLIN这种归一化方式用来选择性地保留或更改内容信息。
在这里插入图片描述

CAM(类别激活图)

CAM是一个帮助我们可视化CNN的工具。使用CAM，我们可以清楚的观察到，网络关注图片的哪块区域。
在这里插入图片描述

类别激活图仅仅是在不同空间位置处存在这些视觉图案的加权线性和。 通过简单地将类激活映射上采样到输入图像的大小，我们可以识别与特定类别最相关的图像区域。

模型结构

U-GAT-IT，是无监督模型，训练时不需要成对图像，由两套GAN系统循环图像转换组成，故其有两套生成器和判别器：

  • 将图像从源域到目标域转换
  • 将图像从目标域向源域转换

U-GAT-IT的生成器和判别器
  为了让系统在生成和判别时更具针对性地对特定区域进行转换和鉴别，作者加入CAM（意即类激活图模块），CAM能找出对于判断一张图的真假最重要的区域。
  作者提出的AdaLIN归一化方法，其作用为在归一化时，在Instance Normalization (IN)和Layer Normalization（LN）两种归一化方法之间动态自适应选择，不局限于常用的IN。AdaLIN可以使得系统灵活控制形状与质地的变化。

实验结果

作者首先研究了添加注意力模块CAM给系统带来的影响，下图为几幅图像转换的视觉效果比较：
在这里插入图片描述

a）源图像，b）生成器的注意图，（c-d）生成器的本地和全局注意图鉴别器，e）使用CAM的结果，f）不使用CAM的结果。

Alt

a)源图像，b)作者的结果，c)仅使用IN的解码器与CAM的结果，d)仅使用LN的解码器与的结果，e)用CAM解码器只使用AdaIN的结果，f)用CAM解码器只使用GN的结果。

使用CAM与AdaIN，均使得算法效果提升
在多个数据集上的表现如下：
Alt
参考文献：

https://arxiv.org/abs/1907.10830
https://mp.weixin.qq.com/s/8dOjp6UamlajIRmi-vuxhg
https://mp.weixin.qq.com/s/9m3kE3yePBE63nN7CnjCMA
https://zhuanlan.zhihu.com/p/114634165

Lucas9
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
U-GAT-IT Unsupervised Generative Attentional Networks
06-02
计算机视觉Github开源论文 U-GAT-IT Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
voclone:U-GAT-IT背景注入的实现，用于分离语音转换GAN的噪声
04-06
U-GAT-IT —官方PyTorch实施 ：具有图像到图像转换的自适应层实例规范化的无监督生成注意网络 | 本文的结果来自Tensorflow代码 U-GAT-IT：具有图像到图像转换的自适应层实例规范化的无监督生成注意网络 摘要我们提出了一种新的无监督图像到图像翻译方法，该方法以端到端的方式结合了新的注意力模块和新的可学习归一化功能。 注意力模块指导我们的模型将注意力集中在基于辅助分类器获得的注意力图来区分源域和目标域的更重要区域上。 与以前的基于注意力的方法无法处理域之间的几何变化不同，我们的模型可以转换需要整体变化的图像和需要大形状变化的图像。 此外，我们新的AdaLIN（自适应层实例归一化）功能可帮助我们的注意力引导模型通过根据数据集学习的参数灵活地控制形状和纹理的变化量。 实验结果表明，与现有的具有固定网络架构和超参数的最新模型相比，该方法具有优越性。 用法 ├── datas
【二次元狂喜】U-GAT-IT：具有AdaLIN的无监督风格转换GAN【论文复现】【飞桨】
qq_42107105的博客
08-06 1245
文章标题解释 本文描述的是一个用于图像-图像转换的生成对抗网络(GAN)，并且其应用了可改善转换效果的AdaLin函数（自适应正则化函数）。AdaLin的细节在文章中陈述。 图像风格转换 图像与图像的相互转换，实际上是对不同“域”图像的转换，转换模型认为两个图像域之间存在一定的映射关系，并通过数据学习这一关系。被转换的图像属于源域(source domain，通常用小写字母s表示，在论文的公式中一般出现在下标上)，目标图像则应属于目标域(target domain通常用小写字母t表示)。例如将马转换为斑马，
登顶Github趋势榜，非监督GAN算法U-GAT-IT大幅改进图像转换效果
我爱计算机视觉
08-05 549
点击我爱计算机视觉标星，更快获取CVML新技术近日，GAN的大家族又出一位重量级新成员U-GAT-IT，图像转换效果提升明显，原作者开源代码这两天登顶Github趋势榜，引起极大关注。U...
【百度顶会论文复现营】【飞桨PaddlePaddle】U-GAT-IT论文阅读笔记
zhs233的博客
08-06 447
U-GAT-IT提出了一种新的无监督图像到图像转换方法，是一个端到端的网络。加入了注意力模块和自适应Layer-Instance Normalization（AdaLIN）。 注意力机制 采用全局和平均池化下的类激活图（CAM）。它能找出对于判断一张图的真假最重要的区域。 以selfie2anime为例： 算法由两个GAN组成。一个GAN（下文称为GAN1）负责源域到目标域的转换，另一个GAN（下文称为GAN2）负责目标域到源域的转换。 GAN1的判别器需要判别一张图片是否和数据集中的..
U-GAT-IT论文解读（飞浆）
Zjuer_Jingyu的博客
08-06 1411
U-GAT-IT论文主要贡献模型结构生成器判别器损失函数实验结果![在这里插入图片描述](https://img-blog.csdnimg.cn/20200806192525567.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pqdWVyX0ppbmd5dQ==,size_16,color_FFFFFF,t_70) 论文主要贡献 解决了无监督的图
风格迁移--U-GAT-IT模型(ICLR 2020)
爱学习爱运动的专栏
12-28 4437
1 论文简介 论文题目： U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation 论文代码：https://github.com/taki0112/UGATIT 论文数据集：https://github.com/znxlwm/UGATIT-pytorch 本文准备以倒序的方式来介绍这篇论文，首先看效果，然后分
风格迁移篇---U-GAT-IT：图像到图像翻译的无监督生成注意网络
m0_61985580的博客
08-16 1806
图像风格迁移
U-GAT-IT：基于GAN的新型无监督图像转换
如果想成为中心，那么就到中心去吧。
05-18 2093
code:https://github.com/znxlwm/UGATIT-pytorch 文章目录前言论文引入模型结构CAM & Auxillary classifierAdaLIN判别器损失函数Trick 和 AdaLIN 实现代码实验总结 前言 生成对抗网络（GAN）在这几年的发展下已经渐渐沉淀下来，在网络的架构、训练的稳定性控制、模型参数设计上都有了指导性的研究成果。我们可以看出 17、18 年大部分关于 GAN 的有影响力的文章多集中在模型自身的理论改进上，如 PGGAN、SNGAN、SA
U-GAT-IT
WinerChopin的博客
08-10 6554
论文原文：U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation 一、解决的问题——unpaired image-to-image translation 1.Selfie2Anime ...
U-GAT-IT 使用指南：人脸动漫风格化
Debroon
11-30 1146
AdaLIN 结合了 Layer Normalization（LN）和 Instance Normalization（IN）各自的优点，实现归一化。假设我们要对一张狗的图片进行分类，判断它是不是一只狗。在这张狗的图片中，CAM显示了狗的脸部区域比较亮，其他区域较暗。：主要应用于图像转换任务，例如将线稿转换为彩色图像、将语义标签转换为真实图像等，适用于。U-GAT-IT：主要应用于图像风格转换、图像翻译和图像增强等任务，适用于。把两者结合起来，互相抵消他们之间的不足，同时又结合了两者的优点。
U-GAT-IT的官方PyTorch实施：具有图像到图像转换的自适应层实例规范化的无监督生成注意网络-Python开发
05-25
U-GAT-IT的官方PyTorch实施：带有自适应层实例规范化的无监督生成注意网络，用于图像到图像的转换U-GAT-IT —官方PyTorch实施：具有自适应的层实例化规范化的无监督生成注意网络，用于图像图像翻译论文| 正式的Tensorflow代码本文的结果来自Tensorflow代码U-GAT-IT：具有自适应层实例规范化的无监督生成注意网络，用于图像到图像的翻译摘要：我们提出了一种新的方法，用于无监督的图像到图像的翻译，其中包含一个新的atte
UGATIT：U-GAT-IT的正式Tensorflow实施：具有图像到图像转换的自适应层实例规范化的无监督生成注意网络（ICLR 2020）
02-24
U-GAT-IT —正式TensorFlow实施（ICLR 2020） ：具有图像到图像转换的自适应层实例规范化的无监督生成注意网络 | 该存储库提供以下论文的正式Tensorflow实现： U-GAT-IT：具有图像到图像转换的自适应层实例规范化的无监督生成注意网络Kim Junho（NCSOFT） ，Minjae Kim（NCSOFT），Hyeonwoo Kang（NCSOFT），Kwanghee Lee（波音韩国） 摘要我们提出了一种新的无监督图像到图像翻译方法，该方法以端到端的方式结合了新的注意力模块和新的可学习归一化功能。 注意力模块指导我们的模型将注意力集中在基于辅助分类器获得的注意力图来区分源域和目标域的更重要区域上。 与以前基于注意力的方法无法处理域之间的几何变化不同，我们的模型可以转换需要整体变化的图像和需要大形状变化的图像。 此外，我们新的AdaLIN（自适应层实例
U-GAT_IT.pdf
06-08
U-GAT_IT.pdf
mtad-gat:MTAD-GAT的实施
04-13
mtad-gat MTAD-GAT的实现：通过图形注意网络进行多元时间序列异常检测 其他论文不适用笔记： 这是草稿。 预测和重新构建模式都可以分别训练。 预测只能提供良好的结果，仅重建效果不如我现在看到的好。 合并的培训...
UGATIT-tf2:TensorFlow 2实现“ U-GAT-IT
03-20
U-GAT-IT：具有图像到图像转换的自适应层实例规范化的无监督生成注意网络 参考 纸 回购
循环神经网络实例——序列预测
weixin_42255757的博客
04-22 992
本文主要以01序列预测为例讲解了循环神经网络的运行过程，特别是Embedding层的处理过程。
【yolov5&yolov7&yolov8火焰和烟雾检测】
最新发布
小秋的博客
04-22 1043
1、YOLOv3训练好的火焰烟雾检测模型，包括yolov3-fire_smoke.pt和yolov3_tiny-fire_smoke.pt两个训练好的模型，并包含几百张标注好的火焰和烟雾数据集，标签格式为xml和txt两种，类别名为fire和smoke，YOLOv5训练好的火焰检测模型，并包含2000张标注好的火焰和烟雾数据集，标签格式为xml和txt两种，类别名为fire，2、采用pytrch框架，代码是python的。采用pytrch框架，代码是python的。YOLOv5训练好的模型+pyqt界面。
深度学习从入门到精通—Transformer
swpucwf的博客
04-22 1014
梯度消失和梯度爆炸：这是RNN最主要的问题。由于序列的长距离依赖，当错误通过层传播时，梯度可以变得非常小（消失）或非常大（爆炸），这使得网络难以学习。计算效率低：RNN由于其递归性质，必须按序列顺序执行计算，这限制了计算的并行性。对于长序列，这会导致训练过程非常慢。难以捕捉长距离依赖：尽管理论上RNN能够处理任何长度的序列，但在实践中，它们往往难以学习到输入序列中的长距离依赖关系。
U-GAT-IT损失函数详解
05-14
U-GAT-IT是一种基于对抗生成网络(GAN)的图像翻译模型，它可以将一种风格的图像转换为另一种风格的图像。该模型的核心是利用生成器和判别器两个网络进行对抗训练。其中，生成器负责将输入图像转换为目标风格的图像，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值