Attention-GAN for Object Transfiguration in Wild Images

最新推荐文章于 2024-08-09 08:26:54 发布
最新推荐文章于 2024-08-09 08:26:54 发布
阅读量5.5k 收藏 1
点赞数 2
分类专栏： DL paper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_29963957/article/details/81331066
版权
本文介绍了一种结合注意力机制的Object Transfiguration方法，通过Attention network提供稀疏注意力图，与Object Transfiguration network结合完成域转换。模型包含Attention、Transfiguration和Discriminator三部分，利用Attention cycle-consistent loss和sparse loss优化，当有额外的分割注释时，可以加入额外的监督。实验结果显示了模型的有效性，但作者认为对Attention的理解仍有待深入。
摘要由CSDN通过智能技术生成

引言

笔者前两天看到了这篇文章，因为最近也一直在看这方面就写篇博客记录一下。
这篇文章主要是结合了Attention机制来做的Object Transfiguration

Object Transfiguration

用传统的GAN网络做Object Transfiguration 时一般有两个步骤：

  • 检测感兴趣的目标
  • 将检测到的目标转换到另一个域

于是作者将这中传统的生成网络，分成了两个网络：

  • Attention network
  • Object Transfiguration network

其中Attention network 用于提供稀疏的Attention maps，Object Transfiguration network做域转换，之后在将两个网络的输出进行合成得到最终的output。

Model


此模型包含三个部分A(for Attention),T(for Transfiguration ),D(for Discriminator)。
其中的Transfiguration指域转换。
The architecture of the proposed model

Pipeline

Branch One

最低0.47元/天 解锁文章
EwanRenton
关注
专栏目录
二元函数图像生成器_论文阅读 | 图像转换(五) AttentionGAN
weixin_40001395的博客
11-26 1224
AttentionGAN: Unpaired Image-to-Image Translation using Attention-Guided Generative Adversarial NetworksAttentionGAN: Unpaired Image-to-Image Translation using Attention-Guided Generative Adversarial ...
Attention-GAN
comea23的博客
06-27 1194
自注意力生成对抗网络（Self-Attention GAN）：开启图像生成的新篇章
最新发布
gitblog_00706的博客
08-09 587
自注意力生成对抗网络（Self-Attention GAN）：开启图像生成的新篇章 self-attention-gan项目地址:https://gitcode.com/gh_mirrors/sel/self-attention-gan 项目介绍 Self-Attention GAN是基于TensorFlow的开源实现，旨在复现Han Zhang等人在论文《Self-Attention Gene...
注意力机制学习笔记二（Attention-GAN、SAGAN、YLG-SAGAN）
qq_45126707的博客
10-22 6378
一.Attention-GAN 论文地址：Attention-GAN for Object Transfiguration in Wild Images Object Transfiguration不是将图像作为一个整体来完成变换，它的目的是在不影响背景区域的情况下，将图像中的某一特定类型的目标转换为另一种类型的目标。经典的GAN在做Object Transfiguration时有两个功能：监测感兴趣的目标和将目标从源域转换到另一个域。这两个功能合并到一个网络中会产生一些问题，比如某些背景区域被误当成目
探索创新前沿： AttentionGAN —— 创意生成的AI新星
gitblog_00082的博客
04-15 440
探索创新前沿： AttentionGAN —— 创意生成的AI新星 项目地址:https://gitcode.com/Ha0Tang/AttentionGAN 在人工智能的世界里，机器学习和深度学习正在逐步改变我们对创造性和艺术的理解。今天我们要介绍的就是一个非常有意思的项目——AttentionGAN，这是一个基于注意力机制的图像到图像生成模型，它能够将文本描述转化为具象的图像。 项目简介 At...
使用attention+GAN网络输入文本生成和文本相匹配的图像（文本描述生成）
08-19
该代码是CVPR2018一篇关于文本到图像合成的文章，经过测试可以使用
GAN汇总
简简单单
12-26 2991
3D-ED-GAN - Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 3D-GAN - Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial...
生成对抗网络GANs（笔记一）主线
热门推荐
qq_21210467的博客
08-19 1万+
生成式对抗网络（Generative Adversarial Nets, GAN） 一、发展历程： 最开始接触GANs是因为想了解有关于在少量数据的情况下如何做数据增广。然后就了解到了DCGAN生成手写数字的案例，简直是惊为天人，然今才逐渐开始了解生成对抗网络的思想。到了后来一直想用生成对抗网络的思想做语音识别和语音合成这一方面，一直找到合适的资料。再后来，鬼使神差的想结合GANs来做毕业论文...
GAN生成对抗网络合集（八）：GeneGAN - 子属性分离重组 - 解决对象变形问题
dexterod的博客
06-03 2113
GeneGAN 源文：GeneGAN: Learning Object Transfiguration and Attribute Subspace from Unpaired Data GeneGAN 源代码：https://github.com/Prinsphield/GeneGAN ---------------------------------------------------------------------------------------------------------------
读论文-Cycle GAN
weixin_42108775的博客
08-21 1719
pix2pix和Cycle GAN都是做风格迁移，出自同一个团队，区别在于pix2pix需要成对数据集，而Cycle GAN引入循环一致性损失之后不需要成对数据了，泛化能力更强。 论文地址：https://arxiv.org/pdf/1703.10593.pdf 代码地址：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix Cycle GAN 系统架构示意图 图源@量子位 ...
AttentionGAN:用于未配对图像到图像翻译和多域图像到图像翻译的 AttentionGAN
08-04
用于未配对图像到图像转换的 AttentionGAN-v2 AttentionGAN-v2 框架 建议的生成器学习前景和背景注意力。 它使用前景注意力从生成的输出中选择前景区域，同时使用背景注意力来维护来自输入图像的背景信息。 请参阅我们的论文了解更多详情。 与最先进方法的比较 自拍到动漫翻译 马到斑马的翻译 斑马到马的翻译 Apple 到 Orange 的翻译 橙色到苹果的翻译 地图到航拍照片翻译 航拍照片到地图翻译 风格转移 学习注意力掩码的可视化 自拍到动漫翻译 马到斑马的翻译 斑马到马的翻译 Apple 到 Orange 的翻译 橙色到苹果的翻译 地图到航拍照片翻译 航拍照片到地图翻译 扩展纸| 会议论文 AttentionGAN：使用注意力引导生成对抗网络的未配对图像到图像转换。 Hao Tang 1 、 Hong Liu 2 、 Dan Xu 3
Paper Reading: Self-Attention-GAN
外婆家的大灰狼
07-01 761
Paper Reading Note URL: https://arxiv.org/pdf/1805.08318.pdf 相关代码： pytorch: https://github.com/heykeetae/Self-Attention-GAN tensorflow: https://github.com/brain-research/self-attention-gan TL;DR 将注意力...
SA-GAN(Self-Attention GAN)学习笔记
dx199771的博客
02-21 3856
在做text2image GAN时候做文献阅读时看到的SAGAN，这里做一个简要得学习笔记，欢迎纠错讨论。 Self-Attention Generative Adversarial Networks (SAGAN) SAGAN在ImageNet可到达36.8的Inception Score 和 18.65的Frechet Inception Distance。也是BIG-GAN的原型。 传统卷积GAN问题： 受局部感受野限制(Local Receptive Field)，无法提取全局信息，只能提取
深度学习——attentive-gan-derainnet
weixin_51352656的博客
12-29 1255
CVPR2018原论文：Attentive Generative Adversarial Network for Raindrop Removal from A Single Image 开源代码（tensorflow框架）：https://github.com/MaybeShewill-CV/attentive-gan-derainnet 1.主要工作：提出了注意力机制的对抗生成网络完成单幅图像的去雨。最大创新点在于：在生成器网络和判别器网络分别插入注意力机制。在训练过程中，注意力机制能够学习到雨点的区域
SAGAN: Self-attention GAN
连理o的博客
08-03 536
目录SAGANSelf-attentionSpectral normalization (SN) for both G and DImbalanced learning rate for G and D (TTUR)BigGAN SAGAN Self-attention Spectral normalization (SN) for both G and D G: Generator D: Discriminator σ(W)\sigma (W)σ(W): WWW 中最大的 sigular valu
SelfAttention GAN介绍
程序员光剑
10-12 669
作者：禅与计算机程序设计艺术 1.背景介绍 Self-Attention GAN (SAGAN) 是一种新的Generative Adversarial Network (GAN)，它主要解决了传统GAN存在的问题。它提出了一个改进版的GAN架构，其中Generator通过将不同空间下位置相关的信息
GeneGAN: Learning Object Transfiguration and Attribute Subspace from Unpaired Data
11-27 1040
本文的工作属于图像到图像间的翻译。类似于 DiscoGAN、CycleGAN 和 DualGAN，作者通过对偶学习，加上弱监督信息（weak 0/1 label），成功实现图像属性的迁移。G 采用 autoencoder 结构，encoder 将图像编码成图像主体信息（如：图像背景和人脸 ID 等）和属性信息（如：微笑、戴眼镜、发型等），decoder 则类似于 CGAN，将图像主体信息和属性信息
[解读] Your Local GAN: Designing Two Dimensional Local Attention Mechanisms for Generative Models
天在那边
04-25 1568
链接: https://arxiv.org/abs/1911.12287v1 项目地址: https://github.com/giannisdaras/ylg 解读: https://www.leiphone.com/news/201912/FBZsLSCZSgyD5fIq.html 相关的工作 SAGAN [26] 是一个添加了自注意力的 GAN, SAGAN 中的注意力层是密集的, 它有一些...
生成对抗神经网络 | PyTorch实现Self-Attention GAN自注意力机制结合生成对抗神经网络
前程算法屋的博客
04-01 765
注意力机制 | PyTorch实现Self-Attention GAN自注意力机制结合生成对抗神经网络
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值