Self-Attention Generative Adversarial Networks（SAGAN）理解

最新推荐文章于 2025-03-24 20:46:31 发布
最新推荐文章于 2025-03-24 20:46:31 发布
阅读量8k 收藏 71
点赞数 10
分类专栏： 记录 文章标签： SAGAN self-attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35586657/article/details/98875077
版权

介绍

Self-Attention Generative Adversarial Networks（SAGAN）是Han Zhang, Ian Goodfellow等人在去年提出的一种新的GAN结构，网络主要引入了注意力机制，不仅解决了卷积结构带来的感受野大小的限制，也使得网络在生成图片的过程中能够自己学习应该关注的不同区域。从结果上来看，SAGAN相比于之前最好的结构，在 Inception score上从36.8提高到了52.52，而 Frechet Inception distance 从27.62降到了18.65，如果对这两个指标不了解，可以看一下我之前的博客GAN的几种评价指标。

GAN之前存在的问题： 对于含有较少结构约束的类别，比如海洋、天空等，得到结果较好；而对于含有较多几何或结构约束的类别则容易失败，比如合成图像中狗（四足动物）的毛看起来很真实但手脚很难辨认。这是因为复杂的几何轮廓需要long-range dependencies(长距离依赖)，卷积的特点就是局部性，受到感受野大小的限制很难提取到图片中的这些长距离依赖。虽然可以通过加深网络或者扩大卷积核的尺寸一定程度解决该问题，但是这会使卷积网络丧失了其参数和计算的效率优势。

论文的主要贡献：

  1. 把self-attention机制引入到了GAN的框架中，对卷积结构进行了补充，有助于对图像区域中长距离，多层次的依赖关系进行建模，并对该机制做了可视化实验；
  2. 在判别器和生成器中均使用spectral normalization，提升生成器的性能；
  3. 训练中使用Two Timescale Update Rule (TTUR)，对判别器使用较高学习率，从而可以保证生成器和判别器可以更新比例为1:1，加快收敛速度，减少训练时间。

实现原理

自注意力机制生成对抗网络

self-attention机制的实现主要受到之前另一篇论文的启发：Non-local Neural Networks<

最低0.47元/天 解锁文章
Self Attention Generative Adversarial Network
AI天才研究院
08-01 2067
2017年，微软亚洲研究院发布了基于Self-Attention的GAN模型——SAGAN（Self-Attention Generative Adversarial Networks）。该模型通过将判别器(Discriminator)、生成器(Generator)和自注意机制(Self-Attention Mechanism)联合训练，消除了模型参数之间的依赖性，提高了模型的泛化能力。
Self-Attention Generative Adversarial Networks解读+部分代码
EwanRenton
08-02 8718
引言 这篇是文章是Ian goodfellow他们的新工作，在GAN中引入Attention。 在文章的摘要中作者主要突出了三点。 Self-Attention Generative Adversarial Network(SAGAN)是一个注意力驱动，长范围 关联模型(attention-driven, long-range dependency modeling )。 传统的GA...
Self-Attention Generative Adversarial Networks
weixin_37958272的博客
06-23 892
Self-Attention Generative Adversarial Networks 在本文中，我们提出了自注意生成对抗网络（SAGAN），它允许对图像生成任务进行注意驱动的远程依赖建模。传统的卷积GANs只在低分辨率特征图中产生局部空间点的函数，从而产生高分辨率的细节。此外，鉴别器可以检查图像的遥远部分中的高度详细的特征是否彼此一致。此外，最近的工作表明，generator conditioning GAN的性能。利用这一观点，我们将光谱标准化应用于GAN生成器，并发现这改善了训练表现。在具有挑
(SAGAN)Self-Attention Generative Adversarial Networks
HHzdh的博客
12-18 1853
core idea：将self-attention机制引入到GANs的图像生成当中，来建模像素间的远距离关系，用于图像生成任务 CGAN的缺点: 1.依赖卷积建模图像不同区域的依赖关系，由于卷积核比较小一般都是1*1，3*3,5*5，导致卷积感受野太小，需要进行多层卷积才能获取远距离的依赖关系 2.多层卷积，优化算法优化参数困难 Abstract 在本文中，我们提出了自我注意生成对抗网络(SAGAN)，它允许注意力驱动的远程依赖建模的图像生成任务。传统卷积GAN在低分辨率特征地图中仅通...
【深度学习】Self-Attention机制详解：Transformer的核心引擎
最新发布
欢迎来到我的CSDN个人博客主页！
03-24 1621
本文介绍了Self-Attention（自注意力机制）。在深度学习领域，Transformer架构的出现彻底改变了自然语言处理(NLP)的格局，而Self-Attention（自注意力）机制则是Transformer的核心组件。Self-Attention兼具了卷积的局部处理能力和全连接层的全局连接特性，但它通过动态生成权重的方式实现了更灵活的表示学习，这也是Transformer架构成功的关键因素之一。
[论文笔记]Self-Attention Generative Adversarial Networks
weixin_44363205的博客
04-07 1540
1、文献综述 文章链接：链接 文章题目：《Self-Attention Generative Adversarial Networks》 项目地址：1.TensorFlow版               \,\,\,\,\,\,\,\,\,\,\,\,\,\, 2.pytorch版 2、文献导读 本文提出了Self-Attention Generative Adversarial Networks...
2018/GAN:Self-Attention Generative Adversarial Networks自我注意生成对抗网络
ssshyeong的博客
06-21 1909
在本文中，我们提出了自我注意生成对抗网络(Self-Attention Generative Adversarial Network, SAGAN)，该网络允许对图像生成任务进行注意力驱动的长期依赖建模。在SAGAN中，可以使用所有特征位置的线索来生成细节。此外，该鉴别器还可以检查图像远处部分的高细节特征是否一致。我们将光谱归一化应用于GAN生成器，并发现这改善了训练动力学。提出的SAGAN比之前的工作表现更好.........
SAGAN：Self-Attention Generative Adversarial Networks论文解读
Sesen的木屋
10-10 1765
在上一篇博客中，SEnet关注于各通道间的依赖关系，通过增强和减弱某个通道特征的表达使得网络有“注意力”。而SAGAN将注意力机制应用在GAN生成项目中，主要是每个feature map 和它自身的转置相乘，让任意两个位置的像素直接发生关系，这样就可以学习到任意两个像素之间的依赖关系，从而得到全局特征。从单个特征出发，使得网络有“注意力”能力。 1、GAN生成图片时存在的问题 ...
Self-Attention Generative Adversarial Networks (SAGAN) 笔记
icylling的专栏
01-27 875
该方法在生成器和判别器中引入self-attention。
论文笔记：Self-Attention Generative Adversarial Networks
时间的玫瑰的博客
05-31 673
GAN主要由两个部分组成，分别是generator和discriminator。首先固定判别器，训练生成器，使得生成器生成的虚假图片能够骗过判别器；随后固定生成器，训练判别器，使判别器能够分辨真实图像和生成器生成的虚假图像。 GAN在近些年非常火，但是仍旧存在大量的问题，比如本篇论文主要聚焦解决GAN中长距离依赖性问题。GAN的计算中依托了CNN的框架，CNN中一个基础的概念是卷积核的基本感受域。常见的卷积核的大小有限，通常不会超过11；扩大感受域的另外一个方法是重复叠加卷积层，但是这需要付出大量的计算代
Python-SelfAttentionGenerativeAdversarialNetworksSAGAN的简单Tensorflow实现
08-11
Simple Tensorflow implementation of "Self-Attention Generative Adversarial Networks" (SAGAN)
Python-Pytorch实现SelfAttentionGenerativeAdversarialNetworksSAGAN
08-11
Pytorch实现Self-Attention Generative Adversarial Networks (SAGAN)
Generative Adversarial Networks
03-25
Generative Adversarial Networks，GAN，一种深度学习算法的论文
【论文笔记】《Self-Attention Generative Adversarial Networks》
puchapu的博客
04-26 1642
在本文中，我们提出了自注意生成对抗网络(SAGAN)，它允许对图像生成任务进行注意力驱动的长期依赖关系建模。在低分辨率feature map中，传统的卷积GANs只根据空间局部点来生成高分辨率细节。在SAGAN中，可以使用来自所有特征位置的线索生成细节。此外，鉴别器还可以检查图像中较远部分的细节特征是否一致。此外，最近的工作表明，生成器影响GAN的表现，我们对G使用频谱归一化。达到了state of the art。
06.SAGAN（Self-Attention Generative Adversarial Networks）
weixin_44177594的博客
04-07 1510
SAGAN摘要introductionproblemsSAGAN的优点好处：SAGAN理论架构SAGAN 优化1. Spectral Normalization2. TTURmore details结果展示评估两个技巧self-attention机制 摘要 提出了一种基于自我注意力生成的对抗性网络(the Self-Attention Generative Adversarial Network), 可以注意力驱动、远距离依赖（long-range dependency）来完成生成图片的任务。传统的卷积GA
Self-Attention-Generative-Adversarial-Networks（2019 ICML，HanZhang IanGoodfellow）
四个菜
07-16 789
文章目录1 背景2 挑战3 创新4 方法5 实验 1 背景 自从GAN提出后，其在图像合成领域一直非常火热，尤其是基于深度卷积神经网络的GAN。 对于多分类实验结果不理想，GAN擅于获取具有连续几何结构的模式，比如能精确模拟狗的毛发而对几只分散的脚无法准确判断。 这可能是由于对卷积的频繁使用导致的，因为卷积核受到视野域的影响，空间分离的模式只有在深层网络中才能挖掘。 增大卷积核可以缓解该问题，但会...
[论文笔记] Self-Attention Generative Adversarial Networks
xby的学习笔记存档处
05-10 800
问题：卷积只有局部的感受野，大范围的依赖关系只能通过多层卷积进行处理。这可能影响网络学习到长依赖关系：1、小模型可能无法学习；2、优化算法可能很难找到多层卷积的合适参数来捕捉这种依赖关系；3、这种参数化可能对之前没见过的图片很不稳定，容易失败。 单纯增大卷积核扩大感受野是个办法，但增大了计算量 文章贡献： 1、SAGAN 中引入：引入attention机制学习long range depende...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值