【读论文】AT-GAN

最新推荐文章于 2024-11-11 17:15:49 发布
最新推荐文章于 2024-11-11 17:15:49 发布
阅读量1.6k 收藏 6
点赞数 4
分类专栏： 图像融合 深度学习 图像处理 文章标签： 生成对抗网络 深度学习 神经网络 计算机视觉 红外与可见光图像融合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43627076/article/details/130564046
版权

【读论文】AT-GAN

论文：https://www.sciencedirect.com/science/article/pii/S156625352200255X
如有侵权请联系博主

介绍

大概是刚开学的时候就读到一篇文章，看完这个指标，我直接膜拜。
在这里插入图片描述
这次要介绍的文章仍然是我们熟悉的Imformation Fusion中一篇论文，论文中将图像质量评价引入到图像融合领域，并且根据红外图像和可见光图像的不同，分别设置了IAM和STM两个模块。融合效果太强了，接下来我们一起看看吧。

网络架构

在这里插入图片描述
整体的网络架构是GAN，左边是生成器，右边是辨别器，可以看到网络架构十分的简单。（最近好像有这个趋势，大家都意识到庞大的网络也许可以产生较好的效果，但是可能无法达到实时性的要求，因此大家都有意识精简网络。）

我们可以发现红外特征提取路径和可见光特征提取路径是十分相似的，不同的是红外特征提取是使用的IAM，而可见光特征提取是使用的STM，之后我们再仔细去聊这两个模块。

接下来我们一点点的去看看吧

生成器

IAM

在这里插入图片描述
上图就是IAM的网络架构，可以看出这篇文章中的网络模型无时无刻不再告诉你，我是轻量模型。IAM的架构也是十分的简单，输入的特征直接被输入到四个卷积层中，然后得到四个不同的结果，我们可以按顺序给这几个结果命个名，Q，K，V和F0。看到你是不是突然觉得，这几个字母有点熟。是不是有点像transformer，没错正是在下
在这里插入图片描述

okokok 不扯了，这里IAM的计算过程就像Transformer的计算过程，如下
在这里插入图片描述
在这里插入图片描述
这里的Reshape是将经过注意力操作之后的特征还原至与F0大小相同，之后再乘以一个alpha，再与F0相加得到最终的特征。

作者希望通过这种注意力的方式来尽可能的保留重要的红外目标信息。

STM

正如我们所知道的那样，纹理信息是存在于浅层特征中，但是单纯的提取浅层特征会导致纹理特征会出现大量的噪声，因此作者希望通过更深一层的特征信息来约束本层特征信息，从而减少可是图像中的噪声信息。
在这里插入图片描述
在这里插入图片描述
这里的作者的操作是先将深层特征和较浅层特征进行拼接，然后进行卷积将拼接的特征的通道数减半，然后再与深层特征相加。

到现在为止，生成器就介绍完毕了。

辨别器

在这里插入图片描述
辨别器的结构就十分的友好了，由卷积层和全连接层组成。注意这里辨别器的输出类似我们之前了解过的GANMcc，都是输出的一个多分类的结果。

损失函数

SEM

这里着重说一下这个部分，也是我认为文章中最亮眼的部分。

之前的大多数文章在设置损失时会给红外图像和可见光图像对应的损失分配一个固定的超参数，这有什么问题呢

例如下面这两幅源图像
在这里插入图片描述
我们肯定希望更多的保存红外图像中的信息，因为可见光图像收到强光的污染，如果设置二者的权重相同的话产生的结果肯定并不是那么让人满意。这种设置下我们再来看下面这两幅源图像，我们可以看出可见光图像的图像质量是相当可以的，但如果我们给红外图像更高的权重就会导致可见光图像中的信息的丢失，从而导致生成的图像效果并不理想。
在这里插入图片描述

看完了上面两幅图像我们就了解了为什么作者采用动态权重来控制两种损失的比例。那么作者是怎么做的呢？

刚才我们已经了解到，作者的其中一个创新点就在于图像质量，那么怎么将图像质量评估结合到图像融合中？

这也就是SEM做的事情。

在这里插入图片描述
可以将X，Y认为是红外图像和可见光图像，通过计算二者的Q，然后根据二者所占的比例分配权重。

这个Q就是BRI-SQUE和图像熵的结合体，即依据这两项确定Q，我们知道BRISQUE越小，图像质量越好，而信息熵越大代表图像所蕴含的信息越丰富，通过这两项，我们就可以动态的给红外图像和可见图像损失分配权重。

损失

在这里插入图片描述
整体损失由三部分组成，分别是内容损失，结构损失，对抗损失。

内容损失

在这里插入图片描述
在这里插入图片描述
陌生一些的就是这个SD了，我们可以将其认为是强度损失。

那么其实内容损失就是梯度损失和强度损失两部分组成。

a就是我们前面说到的SEM得到的权重，即哪一个源图像的SEM值大，我们就倾向与保留哪一个的梯度信息和强度信息。

结构损失

在这里插入图片描述
结构损失同理，这里a与上面内容损失相同，采用SSIM（结构相似性）来定量表示融合图像和源图像之间的结构损失。

对抗损失

在这里插入图片描述
这里是生成器的对抗损失，很清楚的是我们肯定希望生成器生成的图像输入到辨别器之后，辨别器该输入图像既像红外图像又像可见光图像，这样就说明我们融合图像既保留了可见光图像的信息又保留了红外图像的信息。

在这里插入图片描述
辨别器的损失如上，一方面我们希望辨别器可以准确地识别出红外图像和可见光图像，因此第一个损失就是提高辨别器识别红外图像和可见光图像的能力，也就是说c设置为接近1的一个数。

第二部分就是对抗损失，我们希望辨别器可以准确地识别出融合图像，那么怎么表示辨别器觉得它是融合图像呢

如果说辨别器认为该输入图像既不是红外图像也不是可见光图像是不是就代表该图像为融合图像呢？

所以这里二点d设置为接近0的一个数。

到此，损失函数就介绍完毕了。

总结

这篇文章是我今年刚开学就读了的一篇文章，如今再来看看，正好写一下自己的阅读体会，非常强的一篇文章，是我见到的第一篇将图像质量评价结合到图像融合的文章，融合效果也是非常好，只能说大佬真强！！！

其他融合图像论文解读
==》红外与可见光图像融合专栏，快来点我呀《==

【读论文】AttentionFGAN

【读论文】DIVFusion: Darkness-free infrared and visible image fusion

【读论文】RFN-Nest: An end-to-end residual fusion network for infrared and visible images

【读论文】DDcGAN

【读论文】Self-supervised feature adaption for infrared and visible image fusion

【读论文】FusionGAN: A generative adversarial network for infrared and visible image fusion

【读论文】DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs

【读论文】DenseFuse: A Fusion Approach to Infrared and Visible Images

参考

[1] AT-GAN: A generative adversarial network with attention and transition for infrared and visible image fusion

小王不头秃
关注
专栏目录
Patch-GAN 的理解
南淮北安的博客
12-01 7524
文章目录一、Patch-GAN 理解二、Patch-GAN 的解释 一、Patch-GAN 理解 GAN一般情况下的网络结构，在一些人的实验中已经表明对于要求高分辨率、高细节保持的图像领域中并不适合，有些人根据这一情况设计了PatchGAN的思路。 这种GAN的差别主要是在于Discriminator上，一般的GAN是只需要输出一个true or fasle 的矢量，这是代表对整张图像的评价； 但...
GAN系列：代码阅读——Generative Adversarial Networks & 李宏毅老师GAN课程P1+P4
lynlindasy的博客
02-20 2096
看了一上午简直要头疼死。GAN之前没接触过，学习的时候产生了很多乱七八糟的联想。从上篇文章开始，很多内容都是自己的理解，估计有很多错误，以后学习中发现了可能会回来修改的。 找的是机器之心i的代码：https://gitahub.com/jiqizhixin/ML-Tutorial-Experiment/blob/master/Experiments/Keras_GAN.ipynb，用Keras实...
AT-GAN:A Generative Attack Model译文
04-24
对《AT-GAN:A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets》进行了翻译，便于研究
AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets
MTandHJ的博客
06-17 841
文章目录概主要内容符号说明Original GeneratorTransfer the Generator Wang X., He K., Guo C., Weinberger K., Hopcroft H., AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets. arXiv preprint, arXiv: 1904.00783, 2019. 概 用GAN生成adve
文献阅读笔记--GAN--Generative Adversarial NetworkGAN的原始论文-组会讲解
weixin_43481320的博客
02-21 1085
Generative Adversarial Network 作者：Ian Goodfellow 论文地址Arxiv：https://arxiv.org/abs/1406.2661 统计公式一
人工智能十年回顾：CNN、AlphaGo、GAN……它们曾这样改变世界
weixin_42321517的博客
01-11 524
过去十年间，人工智能技术突飞猛进，最疯狂的科幻小说场景现在已经成为我们生活中不可或缺的一部分。
Diffusion-GAN: Training GANs with Diffusion
qq_53826699的博客
08-08 2947
生成对抗网络（GANs）的稳定训练具有挑战性，而在鉴别器输入中注入实例噪声的解决方法在实践中还不是很有效。在本文中，我们提出了一种新的GAN框架，它利用一个前向扩散链来产生高斯混合分布的实例噪声。扩散-gan由三个组成部分组成，包括一个自适应扩散过程、一个与扩散时间步长相关的鉴别器和一个发生器。观测数据和生成的数据都通过相同的自适应扩散过程进行扩散。在每个扩散时间步长，有不同的噪声-数据比，时间步长相关的鉴别器学习区分扩散的真实数据和扩散生成的数据。
深度学习——attentive-gan-derainnet
weixin_51352656的博客
12-29 1281
CVPR2018原论文：Attentive Generative Adversarial Network for Raindrop Removal from A Single Image 开源代码（tensorflow框架）：https://github.com/MaybeShewill-CV/attentive-gan-derainnet 1.主要工作：提出了注意力机制的对抗生成网络完成单幅图像的去雨。最大创新点在于：在生成器网络和判别器网络分别插入注意力机制。在训练过程中，注意力机制能够学习到雨点的区域
2020 CVPR之GAN：MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks
makabaka的博客
07-16 1548
MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks 论文：https://arxiv.org/pdf/1903.06048.pdf 1.当前存在的问题 GAN在图像合成任务中，目前的问题在于他们不能很好的适应不同数据集，部分原因是由于训练过程的不稳定性和对超参数分析仪的敏感性（模型崩塌），不稳定的原因是，真分布与伪分布没有足够的重叠部分时，从鉴别器到生成器的梯度变得无信息。 本文提出了多尺度梯度广义对抗网络(MSG-GAN)，
"重用鉴别器的无监督图像翻译方法（NICE-GAN）
8168重用鉴别器进行编码：面向无监督的图像到图像翻译陈润发，黄文兵，黄炳辉，孙富春，方斌清华大学人工智能研究院北京国家信息科学与技术研究中心，智能技术与系统国家重点实验室，清华...所提出的架构，称为NICE-GAN
RL-GAN-Net：基于强化学习Agent控制的GAN网络实现点云形状实时补全
5898RL-GAN-Net：一种基于强化学习Agent控制的GAN网络实现点云形状的实时补全MuhammadSarmad KAIST韩国sarmad@kaist.ac.krHyunjoo Jenny Lee韩国hyunjoo. kaist.ac.krYoung MinKimJakistan，SNU韩国youngmin.kim邮件...
李宏毅机器学习|生成对抗网络Generative Adversarial Network (GAN)|学习笔记（1）|GAN基本概念介绍
qq_39923466的博客
09-08 857
文章目录前言1 Generation2 Generative Adversarial Network (GAN)GeneratorDiscriminatorBasic Idea of GANAlgorithm结果展示总结 前言 之前老早就听说了GAN，然后对这个方法还不是很了解，想在今后的论文中应用它。因此来学习下李宏毅讲的GAN,记个笔记。视频地址 1 Generation 之前的神经网络的模型大多是给定x，然后通过Nertwork来给定一个y。 但是Generation是给定X和一个简单分布的Z(
如何解决RNN在处理深层序列数据时遇到的如梯度消失、长期以来等问题
m0_73640344的博客
11-06 561
这些技术各自以不同的方式解决了RNN在处理深层序列数据时遇到的关键问题，如梯度消失和长期依赖。选择哪种技术取决于特定任务的需求，包括模型的复杂性、训练时间和性能要求。通过适当选择和配置这些改进的RNN架构，可以显著提高序列数据处理任务的效果和效率。
深度学习面试八股汇总
11-09 370
面试资料收集者之深度学习面试八股汇总
LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-07 1231
​ LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 目录 《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 Abstract 1 Introduction Conclusion Limitations and Future Work局限性和未来工作 《Lo
基于卷积神经网络的桃子叶片病虫害识别与防治系统，vgg16，resnet，swintransformer，模型融合（pytorch框架，python代码）
蓝博AI工作室的博客
11-11 565
基于卷积神经网络的桃子叶片病虫害识别与防治系统是在pytorch框架下实现的，项目中有4个模型，前3个为VGG16、ResNet50、SwinTransformer，最后一个为前面3个模型的融合（预测结果的融合，提高系统预测结果的可靠性），各个模型之间可对比分析，工作量充足。界面可实现各个模型的切换，并且可以保存每次识别结果，生成识别报告该系统涉及的技术栈：python + pyqt5 + opencv。
torch.nn.**和torch.nn.functional.**的区别
最新发布
laice的博客
11-11 82
torch.nn.**是一个继承了torch.nn.Module的类，使用前必须先构造对象，然后再调用。如果直接使用则会报错。torch.nn.functional.**是一个纯数学函数，可以直接使用。
一文快速预览经典深度学习模型（一）——CNN、RNN、LSTM、Transformer、ViT
ttrr27的博客
11-05 1163
Hi，大家好，我是半亩花海。本文主要简要并通俗地介绍了几种经典的深度学习模型，如CNN、RNN、LSTM、Transformer、ViT（Vision Transformer）等，便于大家初探深度学习的相关知识，并更好地理解深度学习的基础内容，为后续科研开展建立一定的基础，欢迎大家一起交流学习。
《深度学习》——深度学习基础知识（全连接神经网络）
qq_59702185的博客
11-07 918
在介绍神经网络之前，我们先看下面这幅图：人工智能>机器学习>深度学习深度学习是机器学习的⼀个⼦集，也就是说深度学习是实现机器学习的⼀种⽅法。与机器学习算法的主要区别如下图所示：传统机器学习依赖于人工设计特征，并进行特征提取，而深度学习算法不需要人工，而是依赖算法自动提取特征，这也是深度学习被看做黑盒子、可解释性差的原因。卷积神经网络（CNN）循环神经网络（RNN）生成对抗网络（GAN）深度强化网络（DRN）
TensorFlow-GAN
06-25
TensorFlow-GAN（简称TF-GAN）是TensorFlow库中用于生成对抗网络（GANs）的一个高级API和模块。它是Google开源的一个工具包，专为研究者和开发者提供了一个易用且功能强大的框架，来构建、训练和评估各种类型的生成模型，如图像生成、视频生成等。 TF-GAN提供了一系列预先定义的模块，如基础的GAN架构（如DCGAN、Wasserstein GAN等）、条件GAN（Conditional GAN，CGAN）和序列到序列GAN（Seq2Seq GAN），这使得用户能够快速实验和定制自己的GAN模型。此外，它还支持高级功能，如离散余弦变换（DCT）编码的输入、自注意力机制以及模型检查点的管理。 TF-GAN的核心组件包括生成器、判别器和训练循环，同时也支持使用TensorFlow的Eager Execution模式，便于调试和原型设计。开发者可以利用TF-GAN提供的API进行模型训练，并通过可视化工具来评估生成样本的质量。
评论 20
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小王不头秃

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值