Self-Attention Generative Adversarial Networks

最新推荐文章于 2024-08-09 08:26:54 发布
最新推荐文章于 2024-08-09 08:26:54 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36356761/article/details/80641147
版权
SAGAN利用自我注意力机制解决传统GAN在处理结构模式时的困难，通过全局相关性建模提高图像生成的细节和真实性。文章介绍了SAGAN的原理，包括注意力驱动的长范围依赖建模，以及采用谱范数归一化和两时间尺度更新规则(TTUR)来稳定训练。实验结果显示，SAGAN在图像质量和结构一致性方面表现出优势。
摘要由CSDN通过智能技术生成

Self-Attention Generative Adversarial Networks

Han Zhang(Rutgers University), Ian Goodfellow(Google Brain), Dimitris Metaxas(Rutgers University),Augustus Odena(Google Brain)

引言

任务：图像生成/图像合成
问题：传统方法在低分辨率特征图上生成空间局部点，而SAGAN（Carl Sagan?）利用所有位置的特征线索生成细节；判别器可以判断高度细节化的特征之间的兼容性；对生成器进行谱范数归一化有利于训练
attention-driven, long range dependency modeling

问题

利用GAN进行图像合成，对于含有较少结构约束的类别（比如海洋、天空和地面等重纹理不重结构的）比较成功，而对于含有几何或结构模式的则容易失败，比如合成的狗的图像具有真实的毛但是很难认出脚。
可能的原因：CNN的卷积层具有感受野，因此利用CNN建模必须具有足够的深度才能在较大空间范围内建立图像不同区域的相关性，但这会导致更大的计算代价。
因此本文提出Self-attention GAN以平衡long range dependency modeling和计算代价的问题。

原理

attention捕捉全局相关性
self-attention/intra-attention: 通过attend同一序列内的所有位置，计算序列中下一位置的相应。已经被用在机器翻译、图像生成和视频的时空相关性建模中，但和GAN结合的还没有人尝试过
基于视频时空建模的non-local model
计算各位置特征的加权和作为响应，而权重即attention map的计算代价是较小的
具体过程如下
这里写图片描述
对于每一层的特征 x∈RC×N x ∈ R C × N ，首先计算特征 f=Wfx,g=Wg

最低0.47元/天 解锁文章
qq_36356761
关注
专栏目录
Python-SelfAttentionGenerativeAdversarialNetworksSAGAN的简单Tensorflow实现
08-11
Simple Tensorflow implementation of "Self-Attention Generative Adversarial Networks" (SAGAN)
生成式对抗网络（Generative Adversarial Networks，GANs）
热门推荐
Joe的博客
01-04 5万+
1. 简介 首先简要介绍一下生成模型（Generative model）与判别模型（Discriminative mode）的概念： 生成模型：对联合概率进行建模，从统计的角度表示数据的分布情况，刻画数据是如何生成的，收敛速度快，例如朴素贝叶斯，GDA，HMM等。 判别模型：对条件概率P(Y|X)P(Y|X)进行建模，不关心数据如何生成，主要是寻找不同类别之间的最优分类面，例如LR，SVM等
自注意力生成对抗网络（Self-Attention GAN）：开启图像生成的新篇章
最新发布
gitblog_00706的博客
08-09 597
自注意力生成对抗网络（Self-Attention GAN）：开启图像生成的新篇章 self-attention-gan项目地址:https://gitcode.com/gh_mirrors/sel/self-attention-gan 项目介绍 Self-Attention GAN是基于TensorFlow的开源实现，旨在复现Han Zhang等人在论文《Self-Attention Gene...
Self-Attention Generative Adversarial Networks（SAGAN）理解
ggyy的NoteBook
08-15 7728
介绍 Self-Attention Generative Adversarial Networks（SAGAN）是Han Zhang, Ian Goodfellow等人在去年提出的一种新的GAN结构，网络主要引入了注意力机制，不仅解决了卷积结构带来的感受野大小的限制，也使得网络在生成图片的过程中能够自己学习应该关注的不同区域。从结果上来看，SAGAN相比于之前最好的结构，在 Inception s...
Self-Attention Generative Adversarial Networks解读+部分代码
EwanRenton
08-02 8646
引言 这篇是文章是Ian goodfellow他们的新工作，在GAN中引入Attention。 在文章的摘要中作者主要突出了三点。 Self-Attention Generative Adversarial Network(SAGAN)是一个注意力驱动，长范围 关联模型(attention-driven, long-range dependency modeling )。 传统的GA...
[论文笔记]Self-Attention Generative Adversarial Networks
weixin_44363205的博客
04-07 1451
1、文献综述 文章链接：链接 文章题目：《Self-Attention Generative Adversarial Networks》 项目地址：1.TensorFlow版               \,\,\,\,\,\,\,\,\,\,\,\,\,\, 2.pytorch版 2、文献导读 本文提出了Self-Attention Generative Adversarial Networks...
2018/GAN:Self-Attention Generative Adversarial Networks自我注意生成对抗网络
ssshyeong的博客
06-21 1776
在本文中，我们提出了自我注意生成对抗网络(Self-Attention Generative Adversarial Network, SAGAN)，该网络允许对图像生成任务进行注意力驱动的长期依赖建模。在SAGAN中，可以使用所有特征位置的线索来生成细节。此外，该鉴别器还可以检查图像远处部分的高细节特征是否一致。我们将光谱归一化应用于GAN生成器，并发现这改善了训练动力学。提出的SAGAN比之前的工作表现更好.........
Self-Attention Generative Adversarial Networks 论文解读
qq_36204845的博客
06-29 370
Self-Attention Generative Adversarial Networks 文章目录Self-Attention Generative Adversarial NetworksIntroductionSAGANExperimentsConclusionReference 我们提出了SAGAN，SAGAN对于图像生成任务允许注意力驱使、长距离依赖建模。传统的卷积GAN生成高分辨率...
Generative Adversarial Networks
11-25
Generative Adversarial NetworksGenerative Adversarial NetworksGenerative Adversarial Networks
Python-Pytorch实现SelfAttentionGenerativeAdversarialNetworksSAGAN
08-11
Pytorch实现Self-Attention Generative Adversarial Networks (SAGAN)
[论文笔记] Self-Attention Generative Adversarial Networks
xby的学习笔记存档处
05-10 758
问题：卷积只有局部的感受野，大范围的依赖关系只能通过多层卷积进行处理。这可能影响网络学习到长依赖关系：1、小模型可能无法学习；2、优化算法可能很难找到多层卷积的合适参数来捕捉这种依赖关系；3、这种参数化可能对之前没见过的图片很不稳定，容易失败。 单纯增大卷积核扩大感受野是个办法，但增大了计算量 文章贡献： 1、SAGAN 中引入：引入attention机制学习long range depende...
(SAGAN)Self-Attention Generative Adversarial Networks
HHzdh的博客
12-18 1664
core idea：将self-attention机制引入到GANs的图像生成当中，来建模像素间的远距离关系，用于图像生成任务 CGAN的缺点: 1.依赖卷积建模图像不同区域的依赖关系，由于卷积核比较小一般都是1*1，3*3,5*5，导致卷积感受野太小，需要进行多层卷积才能获取远距离的依赖关系 2.多层卷积，优化算法优化参数困难 Abstract 在本文中，我们提出了自我注意生成对抗网络(SAGAN)，它允许注意力驱动的远程依赖建模的图像生成任务。传统卷积GAN在低分辨率特征地图中仅通...
Self Attention Generative Adversarial Network
程序员光剑
08-01 1928
2017年，微软亚洲研究院发布了基于Self-Attention的GAN模型——SAGAN（Self-Attention Generative Adversarial Networks）。该模型通过将判别器(Discriminator)、生成器(Generator)和自注意机制(Self-Attention Mechanism)联合训练，消除了模型参数之间的依赖性，提高了模型的泛化能力。
Self-Attention-Generative-Adversarial-Networks（2019 ICML，HanZhang IanGoodfellow）
四个菜
07-16 736
文章目录1 背景2 挑战3 创新4 方法5 实验 1 背景 自从GAN提出后，其在图像合成领域一直非常火热，尤其是基于深度卷积神经网络的GAN。 对于多分类实验结果不理想，GAN擅于获取具有连续几何结构的模式，比如能精确模拟狗的毛发而对几只分散的脚无法准确判断。 这可能是由于对卷积的频繁使用导致的，因为卷积核受到视野域的影响，空间分离的模式只有在深层网络中才能挖掘。 增大卷积核可以缓解该问题，但会...
[Deep Learning] Generative Adversarial Networks (GANs)
华北小龙虾的博客
06-07 286
Generative Adversarial Networks是深度学习的一种技术，主要目标是生成近似于真实数据分布的新数据。它是由两部分组成：Generator和Discriminator。Generator：Generator的任务是生成新的数据样本。在训练过程中，generator接收到一组随机噪声z，并通过该噪声生成数据。初期，generator生成的数据并不能很好的模仿真实的数据分布，但是随着训练的进行，generator将能够生成更好的模仿真实数据的样本。
self-attention generative adversarial networks
03-16
自注意力生成对抗网络（self-attention generative adversarial networks）是一种深度学习模型，它结合了自注意力机制和生成对抗网络。自注意力机制是一种能够让模型自动学习输入序列中不同位置之间的依赖关系的技术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值