Self-Attention Generative Adversarial Networks解读+部分代码

最新推荐文章于 2024-02-15 13:42:32 发布
最新推荐文章于 2024-02-15 13:42:32 发布
阅读量8.6k 收藏 24
点赞数 1
分类专栏： paper DL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_29963957/article/details/81363190
版权

引言

这篇是文章是Ian goodfellow他们的新工作，在GAN中引入Attention。
在文章的摘要中作者主要突出了三点。
Self-Attention Generative Adversarial Network(SAGAN)是一个注意力驱动，长范围 关联模型(attention-driven, long-range dependency modeling )。
传统的GAN在生成高分辨率的细节时，是基于低分辨率的feature map中的某一个小部分的。而SAGAN是基于所有的特征点(all feature locations).
在训练时使用了光谱归一化(spectral normalization )来提升训练强度(training dynamics)。

SAGAN的优势

  • 可以很好的处理长范围、多层次的依赖(可以很好的发现图像中的依赖关系)
  • 生成图像时每一个位置的细节和远端的细节协调好
  • 判别器还可以更准确地对全局图像结构实施复杂的几何约束

因为文章提到了long range 所以这里的远端，个人的理解是前几层卷积的output。

SAGAN

作者提到，大多数的GAN都使用了卷积，但是在处理long range依赖时，卷积的效率很低，所以他们采用了non-local model


x 被送入两个特征空间f,g去计算attention。

Bij 表示在生成第j个区域时，是否关注第i个位置。

上面是每个可学习矩阵的纬度，都是用1X1卷积实现的。

在文章的所有实验中都用到了上面这个超参。
之后再带权相加，

最低0.47元/天 解锁文章
EwanRenton
关注
  • 1
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
自注意力(SelfAttention)原理与代码实战案例讲解
禅与计算机程序设计艺术
06-18 528
自注意力(Self-Attention)是一种用于自然语言处理(NLP)和计算机视觉(CV)等领域的技术，它可以帮助模型更好地理解输入数据中的关系和重要性。自注意力最初是在Transformer模型中提出的，而Transformer模型则是目前NLP领域最先进的模型之一。自注意力的应用已经被广泛应用于各种任务，例如机器翻译、文本分类、语音识别、图像生成等。自注意力机制的核心思想是让模型在处理一个输入序列时，能够对序列中的每个元素进行加权求和，从而捕捉到序列中元素之间的关系。
Python-pytorch改进复现了TPAMI2017论文全姿态范围内的人脸对齐
08-12
全姿态人脸对齐是计算机视觉领域的一个重要课题，旨在精确地定位和校正图像中人脸的关键点，如眼睛、鼻子、嘴巴等，即使在大角度旋转或部分遮挡的情况下也能保持高精度。 描述中提到的“3D整体解决方案”是指该论文...
(SAGAN)Self-Attention Generative Adversarial Networks
HHzdh的博客
12-18 1590
core idea：将self-attention机制引入到GANs的图像生成当中，来建模像素间的远距离关系，用于图像生成任务 CGAN的缺点: 1.依赖卷积建模图像不同区域的依赖关系，由于卷积核比较小一般都是1*1，3*3,5*5，导致卷积感受野太小，需要进行多层卷积才能获取远距离的依赖关系 2.多层卷积，优化算法优化参数困难 Abstract 在本文中，我们提出了自我注意生成对抗网络(SAGAN)，它允许注意力驱动的远程依赖建模的图像生成任务。传统卷积GAN在低分辨率特征地图中仅通...
SAGAN原理及代码（B站详解，很值得一看）
简单记录生活、学习
04-25 2万+
代码地址：https://github.com/heykeetae/Self-Attention-GAN 视频讲解：https://www.bilibili.com/video/BV1yy4y1v744 1.背景+整体介绍 SAGAN:将self-attention机制引入到GANs的图像生成当中，来建模像素间的远距离关系，用于图像生成任务 CGAN的缺点: 1.依赖卷积建模图像不同区域的依赖关系，由于卷积核比较小一般都是1*1，3*3,5*5...==>卷积感受野太小，需要进行多层卷积才能获
Self-Attention Generative Adversarial Networks (SAGAN) 论文模型复现
dick的博客
05-11 996
Lab midterm report —— Self-Attention Generative Adversarial Networks Paper Title: Self-Attention Generative Adversarial Networks Paper Authors: Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Od...
【深度学习】Self-Attention 原理与代码实现
Dong_ZH的博客
04-18 1万+
​Self-Attention 的输入用矩阵X进行表示，使用线性变阵矩阵，经过计算得到，计算如下图所示，注意 X, Q, K, V 的每一行都表示一个单词。
Self-Attention的学习记录以及代码
huomalin的博客
04-26 614
自注意力机制学习记录
Self-Attention和Multi-Head Attention的详细代码内容（没有原理）
LRJ的博客
11-09 2677
self-attetion等结构的代码。
sagan-pytorch:PyTorch中自注意力生成对抗网络的实现
05-02
评估FID分数的代码来自 笔记 来自DCGAN生成器的样本（无残留连接）以120k迭代。 似乎模型大小不足。 FID约为120。此模型折叠后。 来自ResNet生成器290k迭代的样本。 FID约为64.8。 用于生成器与鉴别器的不平衡...
Python-Pytorch实现SelfAttentionGenerativeAdversarialNetworksSAGAN
08-11
Pytorch实现Self-Attention Generative Adversarial Networks (SAGAN)
SAGAN:Self Attention GAN的TensorFlow实现
04-29
**SAGAN（Self Attention Generative Adversarial Networks）**是一种基于注意力机制的生成对抗网络（GANs）的变体，旨在改进传统GAN的训练过程和生成图像的质量。在这个TensorFlow实现中，开发者引入了自注意力层来...
Python-SelfAttentionGenerativeAdversarialNetworksSAGAN的简单Tensorflow实现
08-11
Simple Tensorflow implementation of "Self-Attention Generative Adversarial Networks" (SAGAN)
self-attention的介绍和代码手写
森宝的博客
05-12 3789
self-Attention的介绍和代码实践
手撕self-attention代码_从0实现self-attention_附学习路线
qq_44949041的博客
11-28 4175
一套适合新手学习self-attention的保姆级路线，配套相应的底层代码练习。transformer学习的必备入门，教大家从0开始实现self-attention。代码分为两个版本：基于numpy的和基于pytorch的，为大家深层次剖析self-attention的实现过程，帮助大家理解它的运行原理。
PyTorch——自注意力（self-attention）机制实现（代码详解）
热门推荐
beilizhang的博客
03-28 8万+
参考链接 https://www.bilibili.com/video/BV1JE411g7XF?p=54 https://arxiv.org/abs/1706.03762 https://blog.csdn.net/qq_36653505/article/details/83375160 简述自注意力机制（self-attention） self-attention可以视为一个特征提取层，给定输入特征a1,a2,⋅⋅⋅ana^{1},a^{2},\cdot \cdot \cdot a^{n}a1,a2
[LLM] 自然语言处理 --- Self-Attention(二) 动画与代码演示
摩登都市天空---专栏
04-20 795
一 Self Attention Self Attention也经常被称为intra Attention（内部Attention），最近一年也获得了比较广泛的使用，比如Google最新的机器翻译模型内部大量采用了Self Attention模型。 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source
【深入理解Attention】Transformer的理解和代码实现
最新发布
weixin_44184852的博客
02-15 1494
attention和推荐算法有类似之处我们在电商购物平台上输入查询query，然后平台返回商品列表系统会根据query去查找所有相似度高的商品，商品自带的标签就是key，query与key相乘就得到相似度然后根据客户的评价给所有商品打分，得到value，评价高的value就高。用户喜不喜欢、评价高不高、销量高不高就是value最后，把相似度和value相乘就得到总分。
Self-Attention(einsum)
Burger_的博客
12-01 559
Self-Attention的不调用nn.MutiheadAttention实现，以及einsum函数的使用
SA-GAN - Self-Attention Generative Adversarial Networks 论文解读（附代码）
mx54039q的博客
07-03 1万+
Self-Attention Generative Adversarial Networks
self-attention generative adversarial networks
03-16
自注意力生成对抗网络（self-attention generative adversarial networks）是一种深度学习模型，它结合了自注意力机制和生成对抗网络。自注意力机制是一种能够让模型自动学习输入序列中不同位置之间的依赖关系的技术...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值