DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks

最新推荐文章于 2021-12-17 11:01:56 发布
最新推荐文章于 2021-12-17 11:01:56 发布
阅读量918 收藏 1
点赞数
分类专栏： GAN 文章标签： DA-GAN attention GAN 生成图片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37731534/article/details/88866341
版权

本文均为总结其他人的博客对遇见的一些问题的解决，如有侵权，请联系删帖
论文标题 ：DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks

论文提出的难点：
（1）本论文采用的是无监督学习的方法，没有配对数据的情况下，很难找到正确的对应关系
（2）set-level约束不能学习instance-level对应关系
（3）现有工作是建立在生成对抗网络基础上的，生成图像的分布不同于目标图像集的分布

解决办法：
提出了一种新框架，将两个待翻译图像集S和T分解到instance-level，利用attention机制发现instance-level的对应关系，把实例放置到两个集合共有的高度结构化空间中。最后对instance进行重组得到想要的图像。本论文在set-level和instance-level分别建立对应的约束。

那什么是instance那？
实例是一个比较宽泛的概念，在不同的任务中可以有不同的定义，例如再生成鸟的任务中，实例可以是鸟的头，身体，脚，嘴，羽毛等一些身体的部位。
在这里插入图片描述
图片翻译的原则：
保留源域的预期身份（例如，文本到图像中的语义，人脸到动画中的人的身份），同时生成与目标域（想要生成的鸟或动画）相匹配的样本。现在大部分作品是在GAN上实现的，而生成对抗网络只训练整体数据分布特征，不能实现实例级别的对应。实例级的对应是指一组样本共享的可识别对象的特征。

在这里插入图片描述
上图StackGAN忽略了鸟的眼睛。论文把GAN和attention结合起来学习局部信息生成全新样本。

目前大部分GAN是学习图像集（set-level）水平的数据分布，即把源图像集和目标图像集分别看成一个的整体分布。而DA-GAN不同，DA-GAN在学习过程中考虑了instance-level的细粒度特征。并结合attention机制采用无监督学习方式（不是成对的数据）学习图像细粒度特征，并进一步重组学到的细粒度特征产生更多样的新图像。

DA-GAN框架结构图
在这里插入图片描述
图一：姿势变形的例子来说明过程，给定源域S和目标域T两张鸟类图像，姿势变形的目标是将源域S鸟的姿势转换为T的姿势，但是仍保持S 的实体。

图一a部分
表示前向传播过程，两张输入的图片被DAE投影到一个潜在空间。生成器G使用潜在空间的表示DAE(s)和DAE(t)去产生翻译样本 s’=G(DAE(s))和t’=G(DAE(t))

图一b部分
展示DAE的细节，输入图片X的特征映射（E是一个编码器）经过floc函数确定出N个attention区域，N个区域的特征包含N个实例。N个区域与图片通过cropping处理，产生N个instance图片，再经过编码器将S和T共同投影到潜在空间中

先讲一下floc函数
在这里插入图片描述
函数数输入的是图片经过编码器的特征映射，输出是N个区域的中心坐标x和y。区域的大小和图片大小一致

边界的参数化位置为
在这里插入图片描述
这四个边界值确定Mi

接下来执行的是CROPPING操作，这一步我自己认为的类似于取两个区域的交集操作，即：
在这里插入图片描述

中间的小圆圈表示矩阵对应位置相乘的操作，确定关注区域，即：
在这里插入图片描述

潜在空间对应的表示为
在这里插入图片描述

Mi的公式为：
在这里插入图片描述
在这里插入图片描述

当K足够大时，sigmoid函数近似于一个阶跃函数。这时Mi就相当于一个二维矩形函数,是一个在三维空间中的实心矩形，如下图。Mi的梯度也相当于三维空间中二维矩形的梯度
在这里插入图片描述

Mi关于x的梯度为
在这里插入图片描述

图一C部分
对应优化时instance-level和set-level的损失函数。图中S、T分别为
源域
在这里插入图片描述

目标域
在这里插入图片描述

映射关系
在这里插入图片描述

源域翻译的样本集
在这里插入图片描述

目标域翻译的样本集
在这里插入图片描述

那如何在无监督的情况下，寻找set-level和instance-level的对应关系那？
解决办法：使用DAE（deep attention encoder）学习attention机制并将其整合到映射函数F中，在DAE中将S和T两个集合中的样本翻译成高度结构化潜在空间的实例

学习包括两个步骤：
（1）DAE先将原始数据分解成实例，文本-图像中原始文本找到对应的关键词，姿势变形中原始图像的姿势
（2）找到匹配的实例，使用实例级损失函数进行约束，下面两个公式

Instance-Level Image Translation
Instance-Level loss主要分为Lcst和Lsym，公式分别如下：
在这里插入图片描述
上面的式子计算源图S重构成S’后的损失
在这里插入图片描述
上式是T到其自身的映射的对称性来强化映射，计算目标图T重构T’后的损失
上面这两个式子对应图一C模块的上半部分，其中d表示距离的计算

Set-Level Image Translation
应用了LsGAN和LtGAN两个损失，公式如下：
在这里插入图片描述
上式用于约束生成图片S’和源目标图片T的一致性
在这里插入图片描述
为了防止model collapse的出现，用上式解决，上式也用于约束源目标图像T和生成图像T’的一致性

介绍下model collapse
当源数据分布有多个极值时，生成器会倾向于拟合一个局部极值，产生大量相似的数据，如下面右图所示。
在这里插入图片描述

model collapse解决方法：
1、调换生成目标优化顺序，先优化生成模型，在优化判别模型，使得在优化初期生成模型产生更多的模型样本而减小判别模型的约束。
在这里插入图片描述
2、minibatch features
将真实样本和模型样本分割为小块，分块的由块内特征进行判别
3、不用判别模型达到最优化后再优化模型

Loss
在这里插入图片描述

DA-GAN的学习策略为：
在这里插入图片描述
其中F代表的是DAE和G两个网络
整个网络结构采用resnet结构，生成器的输入是在channel层叠加的instance-level数据，网络最后几层经过上采样生成翻译图片。
判别器是将翻译后的图片作为输入，经过一系列的下采样层，最后经过全连接层和一个节点产生评分结果
Encoder中应用卷积，Batch normalization 和ReLu
Decoder中应用反卷积，Batch normalization和ReLu

本论文的贡献分为三个方面：
一、将任务分成了实例级别，增强了可控性
二、第一个将attention机制应用到GAN上
三、引入了一个新框架

哩哩啦啦10086
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AT-GAN:A Generative Attack Model译文
04-24
对《AT-GAN:A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets》进行了翻译，便于研究
目标检测综述
MyArrow的专栏
12-11 1002
1. 目标 分类-Classification 解决“是什么？”的问题 即给定一张图片或一段视频判断里面包含什么类别的目标 定位-Location 解决“在哪里？”的问题 即定位出这个目标的的位置 检测-Detection 解决“是什么？在哪里？”的问题 即定位出这个目标的的位置并且知道目标物是什么。 分割-Segmentation 分为实例的分割（Instance-leve...
图像检索中的概念
PyBigStar的博客
12-02 473
class-level retrival是类级别的检索，而instance-level retrival是实例级别的检索。即前者能匹配的正确图像在数据库中可能有很多，而后者能匹配的正确图像在数据库中只有一个。**例如，**要找“一个穿蓝色衣服的金发女郎在打车。” 实际上你只有一个正确答案。不像class-level 或category-level的 要找“女性“可能有很多个正确答案。所以这个问题更细粒度，也更需要detail的视觉和文本特征。 ...
浅读"Instance-Level Salient Object Segmentation"
LegendaryFour的博客
07-18 1781
论文主要目的         解决基于实例水平上的多尺度显著物体检测并分割的问题   论文研究背景         在之前的研究中，只做了像素水平上的显著区域分类问题和单尺度的显著性掩模生成问题，对多尺度和实例分割(instance-level segmentation)没有太好的解决方法。​   论文主要框架 &n...
[论文阅读] Instance-level salient object segmentation
xiongxyowo的博客
12-17 902
论文地址：https://doi.org/10.1016/j.cviu.2021.103207 代码：https://github.com/Kinpzz/MSRNet-CVIU 发表于：CVIU.21 注：本文原发表于CVPR.17 Abstract 由于深度卷积神经网络的发展，图像显著性检测最近取得了巨大成功。然而，大多数现有的显著目标检测方法不能识别检测到的显著区域中的单个物体实例。在本文中，我们提出了一种显著性实例分割方法，该方法可以为输入图像产生一个具有明显对象实例标签的显著图。我们的方法由三个主要
DA-GAN
qq_40739856的博客
05-29 2031
DA-GAN:基于深度注意力机制的生成对抗网络的实例级图像翻译摘要：无监督的图像转换，目的是转换两组独立的图像集风格，在没有成对数据集的情况下找到两者的正确关联是很具有挑战性的。现存的工作大部分是基于生成对抗网络，它可以令转换后的图像数据分布和目标数据分布区分不出。然而，这种数据集层次的约束是无法学习到实例级别的对应关系。（例如：在目标配置任务中的语义对齐部分）。这种限制通常会导致假阳性（如几何或...
deblur-gan:硬实施“ DeblurGAN
05-03
获取，并将其提取到deblur-gan目录中。 目录名称应为GOPRO_Large 。 用： python scripts/organize_gopro_dataset.py --dir_in=GOPRO_Large --dir_out=images 训练 python scripts/train.py --n_images=512 --...
lecam-gan:在受限数据下对生成性对抗网络进行正则化（CVPR 2021）
04-16
在有限数据下对生成性对抗网络进行正则化 我们的GAN正则化方法的实现。 拟议的正则化1）在有限的训练数据下提高了... title = {Regularing Generative Adversarial Networks under Limited Data}, booktitle = {CVPR}
TensorFlow-Conditional-GAN:有条件的GAN
05-14
TensorFlow-Conditional-GAN （Conditional-GAN）条件生成对抗网络可以使用Vanilla GAN模型创建所需目标图像的模型有条件的GAN论文： : 有条件的GAN.py * loss function는 ...vanilla-GAN 의 v2와 동일* dataset : ...
deep-generative-prior:深度生成先验代码（ECCV2020口头）
05-26
深度生成先验（DGP） 纸 潘新刚，詹晓航，戴博，林大华，陈改变来，罗平，“”，ECCV2020（口头） 视频： ： ...结果将保存在experiments/examples/images和experiments/examples/image_sheet 。
3D-RCNN: Instance-level 3D Object Reconstruction via Render-and-Compare
07-04
We present a fast inverse-graphics framework for instance-level 3D scene understanding. We train a deep convolutional network that learns to map image regions to the full 3D shape and pose of all object instances in the image. Our method produces a compact 3D representation of the scene, which can be readily used for applications like autonomous driving. Many traditional 2D vision outputs, like instance segmentations and depth-maps, can be obtained by simply rendering our output 3D scene model. We exploit class-specific shape priors by learning a low dimensional shape-space from collections of CAD models. We present novel representations of shape and pose, that strive towards better 3D equivariance and generalization. In order to exploit rich supervisory signals in the form of 2D annotations like segmentation, we propose a differentiable Render-and-Compare loss that allows 3D shape and pose to be learned with 2D supervision. We evaluate our method on the challenging real-world datasets of Pascal3D+ and KITTI, where we achieve state-of-the-art results.
DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks阅读笔记
FLY的博客
01-25 1233
深度注意生成对抗网络的实例级图像翻译 一、图像翻译 通过从一个图像域到另一个图像域找到一些底层对应关系（例如，类似的语义）来学习映射函数，这就是图像翻译问题。翻译的原则是保留源域的预期身份（例如，文本到图像中的语义，面对动画中的人类ID），同时生成与目标域的分布匹配的样本。 二、目前技术挑战 多年的研究已经在有足够的配对的监督环境中产生了强大的翻译系统。然而，获得配对的训练数据是困难且昂贵的。因此...
图像生成领域的GAN论文解读
qq_42079689的博客
11-12 2553
图像生成领域的GANQuality Aware Generative Adversarial Networks（QAGAN），NeurIPS 2019 Quality Aware Generative Adversarial Networks（QAGAN），NeurIPS 2019   尽管已有许多的方法试图提升GAN生成结果的视觉质量，然而，尚未有应用图像质量指标作为GAN的损失函数或是权重正则...
【读书笔记】DA-GAN: Instance-level Image Translation
My Blog
03-22 4847
Abstract 旨在翻译两组独立图像的无监督图像翻译在没有配对数据而找到正确对应方面上具有挑战性。基于GAN展开的研究工作使得翻译图像的分布与目标集合的分布无法区分。然而，这样的集合约束不能学习实例级别的对应关系（例如对象配置任务中对齐的语义部分）。这种限制常常导致误报（例如几何或语义伪像），并进一步导致模式崩溃问题。为了解决上述问题，我们提出了一个由Deep Attention GAN（DA...
zifeng wu instance level segmentation：Bridging Category-level and Instance-level Semantic Image
bea_tree的博客
03-02 3223
本文是arXiv上去年5月份的文章，依然是zifeng wu的工作。一句话总结作者ResNet网络的各种超参的作用，最后得到了在当时state of the art的分割成绩，并提出了自己的instance-level semantic的方式，并提出了困难样本选择的方法。1 instance segmentation整体结构： 这里包含两个网络，图像category-level的segment
论文阅读：Instance-Level Salient Object Segmentation
Ethan_Wuuu的博客
08-08 3944
论文目的：saliency detection 和 salient object segmentation本文框架：首先，作者提出a deep multiscale refinement network（MSRNet），并用这个网络分别获得了salient region detection和salient object contour detection。其次，使用MCG方法，计算之前contour
论文阅读笔记《Instance-Level Embedding Adaptation for Few-Shot Learning》
深视
09-21 1788
小样本学习&元学习经典论文整理||持续更新 核心思想   本文提出一种基于度量学习的小样本学习算法（AAM），作者认为由于测试集和训练集的样本是来自不同分布的，且测试集的支持集中仅包含少量的样本，因此生成的类别表征是不可靠的。另一方面由于查询样本也存在较大的随机性，可能对应类别的类别表征并不相似，这样就容易导致误分类。作者提出一种注意力自适应模块（Attention Adaptation Module，AAM）用于调整类别表征和查询样本的特征向量，使其与对应类别的类别表征之间的距离更近。   本文思
详细介绍一下AttentionGAN: Unpaired Image-to-Image Translation using Attention-Guided Generative Adversarial Networks 的缺点
最新发布
06-06
AttentionGAN 是一种基于生成对抗网络的图像翻译模型，可以将不成对的图像进行翻译。虽然 AttentionGAN 在图像翻译领域取得了一定的成果，但它也存在一些缺点，主要包括以下几个方面： 1. 训练时间较长：AttentionGAN 的训练时间较长，需要在大规模的数据集上进行训练，这会导致模型的训练时间和计算成本较高。 2. 对输入图像的限制：AttentionGAN 只能翻译尺寸相同的图像，而且需要输入图像的大小是 2 的幂次方。这限制了模型的适用范围，不能很好地处理不同大小的图像。 3. 对图像细节的处理欠佳：AttentionGAN 在处理图像时，对细节的处理并不是很好，可能会导致一些细节信息丢失或者图像出现噪点。 4. 对不同领域图像的适应性较差：AttentionGAN 的训练数据集限制了它在不同领域的图像翻译上的适应性。如果要将 AttentionGAN 应用于其他领域的图像翻译，需要重新训练模型并调整超参数。 总的来说，AttentionGAN 在图像翻译领域取得了一定的成就，但它也存在一些局限性，需要在实际应用中根据具体情况进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值