Self-Attention GAN的一些理解

最新推荐文章于 2024-05-17 10:27:32 发布
最新推荐文章于 2024-05-17 10:27:32 发布
阅读量9.6k 收藏 22
点赞数 4
分类专栏： python cnn deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26414307/article/details/85112217
版权
本文探讨Self-Attention GAN的工作原理，它通过重新分配权重来增强feature map的全局信息，弥补小卷积核的局限。通过1x1卷积、softmax等操作，生成attention map，实现特征点之间的相互影响，类似于全连接层在卷积网络中的作用。
摘要由CSDN通过智能技术生成

其实那么多的attention机制，说白了就是一句话，重新分配权重，比如说现在有一个n维向量[x1, x2, x3..., xn]，我觉得x1的值不足以代表其真实情况，所以希望利用x2,...xn的值来对其进行“修补”, 然后就是要找到一组权重w1, w2, w3...wn, 对其求加权平均（也不一定是加权平均，看实际需求）来得到x1的最终值（当然，实际应用中会涉及到一些维度映射，Query-Key-Value等内容，但大体框架都基于此）。

而Self-Attention GAN与之前的non local neural network极为相似（换了个皮？），以下为一些理解。

对于当前得到的feature map X（shape=[C, N]，C为channel， N为特征点数，例如在12*12图像中，将其展平，就得到144个特征点），我希望其能够得到更加全局的信息来弥补小卷积核信息获取不足的缺陷。

SAGAN

 

根据上图，对于feature map X，上面两路是获取attention map, 下面一列是一个线性变换，最后相乘得到最终结果。

对于第一路（f(X)那一行）,首先X经过一个1x1 卷积，得到f(x) (shape=[C/8, N]，C/8是文中的参数，可自由替换，个人理解是为了减少计算量设置的), 而第二路

最低0.47元/天 解锁文章
Zamirquito
关注
  • 4
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SelfAttention GAN介绍
禅与计算机程序设计艺术
10-12 626
作者：禅与计算机程序设计艺术 1.背景介绍 Self-Attention GAN (SAGAN) 是一种新的Generative Adversarial Network (GAN)，它主要解决了传统GAN存在的问题。它提出了一个改进版的GAN架构，其中Generator通过将不同空间下位置相关的信息
Self-Attention GAN 中的 self-attention 机制
Paper weekly
03-06 3268
作者丨尹相楠学校丨里昂中央理工博士在读研究方向丨人脸识别、对抗生成网络Self Attention GAN 用到了很多新的技术。最大的亮点当然是 self-attenti...
AttentionGAN:用于未配对图像到图像翻译和多域图像到图像翻译的 AttentionGAN
08-04
用于未配对图像到图像转换的 AttentionGAN-v2 AttentionGAN-v2 框架 建议的生成器学习前景和背景注意力。 它使用前景注意力从生成的输出中选择前景区域，同时使用背景注意力来维护来自输入图像的背景信息。 请参阅我们的论文了解更多详情。 与最先进方法的比较 自拍到动漫翻译 马到斑马的翻译 斑马到马的翻译 Apple 到 Orange 的翻译 橙色到苹果的翻译 地图到航拍照片翻译 航拍照片到地图翻译 风格转移 学习注意力掩码的可视化 自拍到动漫翻译 马到斑马的翻译 斑马到马的翻译 Apple 到 Orange 的翻译 橙色到苹果的翻译 地图到航拍照片翻译 航拍照片到地图翻译 扩展纸| 会议论文 AttentionGAN：使用注意力引导生成对抗网络的未配对图像到图像转换。 Hao Tang 1 、 Hong Liu 2 、 Dan Xu 3
Self-attention GAN
雪碧橙子
04-15 3413
SAGAN是使用注意力机制的长期依赖的生成模型（“长期的”没明白）。传统的卷积GAN生成高分辨率细节，以低分辨率特征图中的空间局部点作为方法。【这个点的翻译我也懵逼】SAGAN可以从所有的特征位置上产生细节， ...
深入解析自注意力机制（Self-Attention）：深度学习中的关键创新
最新发布
qlkaicx的博客
05-17 3241
这一技术已经彻底改变了自然语言处理（NLP）等领域的模型架构，特别是在Transformer模型的推动下，自注意力机制成为了近年来深度学习研究的热点之一。本篇博客将详细介绍自注意力机制的起源、工作原理、数学表达和在现代深度学习中的应用。自注意力的提出标志着注意力机制的一个重大转变，即注意力也可以有效地应用于序列内部的元素之间，从而直接捕捉序列内的依赖关系。即元素 ( i ) 对元素 ( j ) 的注意力权重是 ( i ) 的查询向量与 ( j ) 的键向量的点积，通过softmax归一化后得到。
SA-GAN(Self-Attention GAN)学习笔记
dx199771的博客
02-21 3794
在做text2image GAN时候做文献阅读时看到的SAGAN，这里做一个简要得学习笔记，欢迎纠错讨论。 Self-Attention Generative Adversarial Networks (SAGAN) SAGAN在ImageNet可到达36.8的Inception Score 和 18.65的Frechet Inception Distance。也是BIG-GAN的原型。 传统卷积GAN问题： 受局部感受野限制(Local Receptive Field)，无法提取全局信息，只能提取
self-attention gan 代码_GAN+异常检测
weixin_39707851的博客
10-28 1351
本文主要调研一下gan在异常检测的方法。训练阶段： 可以通过网络仅仅学习负样本（正常数据）的数据分布，得到的模型G只能生成或者重建正常数据。测试阶段： 使用测试样本输入训练好的模型G，如果G经过重建后输出和输入一样或者接近，表明测试的是正常数据，否则是异常数据。模型G的选择： 一个重建能力或者学习数据分布能力较好的生成模型，例如GAN或者VAE，甚至encode...
Self-Attention-GAN-Tensorflow-master.zip
05-29
标题"Self-Attention-GAN-Tensorflow-master.zip"表明这是一个使用Tensorflow框架实现的Self-Attention GAN（生成对抗网络）项目。Self-Attention机制是近年来在深度学习领域引入的一种新颖技术，它允许模型在处理...
SAGAN:Self Attention GAN的TensorFlow实现
04-29
**SAGAN（Self Attention Generative Adversarial Networks）**是一种基于注意力机制的生成对抗网络（GANs）的变体，旨在改进传统GAN的训练过程和生成图像的质量。在这个TensorFlow实现中，开发者引入了自注意力层来...
Python-自我注意GAN的变体命名FAGANFullAttentionGAN
08-11
自我注意GAN（Self Attention GAN, SAGAN）是GAN的一个变种，它引入了自注意机制来增强模型的学习能力，使生成器能够捕捉到更长距离的依赖关系，从而生成更高质量的图像。而FAGAN（Full Attention GAN）则是SAGAN的...
attention-based-face-generation
04-03
开发者可能使用了变分自编码器（VAE）、生成对抗网络（GAN）或者结合了注意力机制的变种，如自注意力（self-attention）或者局部注意力（local attention），以提高生成图像的质量和真实性。 在训练过程中，模型...
Python-SelfAttentionGenerativeAdversarialNetworksSAGAN的简单Tensorflow实现
08-11
`Self-Attention-GAN-Tensorflow-master`这个压缩包可能包含了以下内容： - 数据集加载模块：用于加载和预处理训练数据 - 模型定义模块：包含生成器和判别器的网络结构 - 训练脚本：定义训练循环，包括前向传播、...
使用attention+GAN网络输入文本生成和文本相匹配的图像（文本描述生成）
08-19
该代码是CVPR2018一篇关于文本到图像合成的文章，经过测试可以使用
SAGAN: Self-attention GAN
连理o的博客
08-03 523
目录SAGANSelf-attentionSpectral normalization (SN) for both G and DImbalanced learning rate for G and D (TTUR)BigGAN SAGAN Self-attention Spectral normalization (SN) for both G and D G: Generator D: Discriminator σ(W)\sigma (W)σ(W): WWW 中最大的 sigular valu
深度学习框架-PyTorch实战
12-03
购买课程后，添加小助手微信（微信号：csdnxy68）回复【唐宇迪】进入学习群，获取唐宇迪老师答疑深度学习框架-PyTorch实战课程旨在帮助同学们快速掌握PyTorch框架核心模块使用方法与项目应用实例，让同学们熟练使用PyTorch框架进行项目开发。课程内容全部以实战为导向，基于当下计算机视觉与自然语言处理中经典项目进行实例讲解，通过Debug模式详解项目中每一行代码的作用与效果，整体风格通俗易懂，提供全部课程所属课件。
注意力机制学习笔记二（Attention-GAN、SAGAN、YLG-SAGAN）
qq_45126707的博客
10-22 6004
一.Attention-GAN 论文地址：Attention-GAN for Object Transfiguration in Wild Images Object Transfiguration不是将图像作为一个整体来完成变换，它的目的是在不影响背景区域的情况下，将图像中的某一特定类型的目标转换为另一种类型的目标。经典的GAN在做Object Transfiguration时有两个功能：监测感兴趣的目标和将目标从源域转换到另一个域。这两个功能合并到一个网络中会产生一些问题，比如某些背景区域被误当成目
二元函数图像生成器_论文阅读 | 图像转换(五) AttentionGAN
weixin_40001395的博客
11-26 1195
AttentionGAN: Unpaired Image-to-Image Translation using Attention-Guided Generative Adversarial NetworksAttentionGAN: Unpaired Image-to-Image Translation using Attention-Guided Generative Adversarial ...
探索创新前沿： AttentionGAN —— 创意生成的AI新星
gitblog_00082的博客
04-15 398
探索创新前沿： AttentionGAN —— 创意生成的AI新星 项目地址:https://gitcode.com/Ha0Tang/AttentionGAN 在人工智能的世界里，机器学习和深度学习正在逐步改变我们对创造性和艺术的理解。今天我们要介绍的就是一个非常有意思的项目——AttentionGAN，这是一个基于注意力机制的图像到图像生成模型，它能够将文本描述转化为具象的图像。 项目简介 At...
【读论文】AttentionFGAN
就很有趣的博客
02-24 2019
好久没有读过使用GAN来实现图像融合的论文了，正好看到一篇2021年的论文，很感兴趣。论文中介绍了一种基于多尺度和SE注意力用于可视图像与红外图像融合的方法，网络架构基于GAN，有点类似DDcGAN的结构，也是有两个辨别器。接下来咱们一起来看看吧。整篇文章让我最惊艳的有两个点，第一个就是在多尺度特征提取那里加入了SE块，从而挑选我们想要的特征；另一个就是在损失函数这里，尤其是注意力损失那个地方，通过我们希望注意的区域的特征的对比来判断融合图像中是否包含了可视的纹理信息和红外图像中的目标信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值