上手AIGC必读经典算法——如何引入文本信息？来看 StackGAN

已于 2024-03-07 16:14:37 修改
阅读量645 收藏 6
点赞数 1
分类专栏： 论文阅读 文章标签： 论文阅读
于 2022-10-04 11:46:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43499292/article/details/127160799
版权

StackGAN 论文阅读笔记

文章目录

论文结构

  1. Introduction
  2. Related Work
  3. Stacked Generative Adversarial
    Networks
    3.1 Preliminaries
    3.2 Conditioning Augmentation
    3.3 Stage-I GAN
    3.4 Stage-II GAN
    3.5 Implementation details
  4. Experiments
    4.1 Datasets and evaluation metrics
    4.2 Quantitative and qualitative results
    4.3 Component analysis
  5. Conclusions

摘要

原文

Synthesizing high-quality images from text descriptions is a challenging problem in computer vision and has many practical applications. Samples generated by existing text-to-image approaches can roughly reflect the meaning of the given descriptions, but they fail to contain necessary details and vivid object parts. In this paper, we propose Stacked Generative Adversarial Networks (StackGAN) to generate 256x256 photo-realistic images conditioned on text descriptions. We decompose the hard problem into more manageable sub-problems through a sketch-refinement process. The Stage-I GAN sketches the primitive shape and colors of the object based on the given text description, yielding Stage-I low-resolution images. The Stage-II GAN takes Stage-I results and text descriptions as inputs, and generates high-resolution images with photo-realistic details. It is able to rectify defects in Stage-I results and add compelling details with the refinement process. To improve the diversity of the synthesized images and stabilize the training of the conditional-GAN, we introduce a novel Conditioning Augmentation technique that encourages smoothness in the latent conditioning manifold. Extensive experiments and comparisons with state-of-the-arts on benchmark datasets demonstrate that the proposed method achieves significant improvements on generating photo-realistic images conditioned on text descriptions.

核心

  1. 现有文本到图像方法生成的样本，可以大致表达出给定的文本含义，但是图像细节和质量不佳
  2. StackGAN能基于文本描述，生成256*256分辨率的照片级图像
  3. 把问题进行了分解，采用 草图绘制-精细绘制 两阶段过程
  4. 阶段1的GAN根据给定的文本描述，来绘制对象的原始形状和颜色；阶段2的GAN使用文本描述和阶段1的输出来作为输入，通过纠正草图中的缺陷和细节生成，来最终得到更高分辨率的图像
  5. 还提出了一种条件增强方法，能够增强潜在条件流形的平滑性
  6. 大量实验表明，以上方法在以文本描述为条件的照片级图像生成上取得了显著进步

研究背景

Research background

Energy-Based(EB) GAN

•
将判别器视作一个energy function，函数值（非负）越小代表data越可能是真实数据
•
使用自编码作为判别器（energy function）
•
判别器可以单独使用真实数据进行提前的预训练
•
可以基于ImageNet数据集训练，生成256*256分辨率的图片

image-20221004093702170

文本生成图像

• VAE
• DRAW(Deep Recurrent Attention Writer)

  • •使用循环神经网络+注意力机制
  • •依次生成一个个对象叠加在一起得到最终结果

• GAN

  • 在生成器中，text embedding跟随机噪声融合后一起输入到生成网络中
  • 鉴别器会对错误情况进行分类，一种是生成的fake图像匹配了正确的文本，另一种是真实图像但匹配了错误文本

研究成果

Research Results
•
首次在文本到图像的任务中，生成了256*256分辨率的高质量图像
•
提出的条件增强方法，能增强模型的鲁棒性并提升生成效果的多样性

•
成为了文本生成图像任务中的一个里程碑
•
基于VAE思想的条件增强方法，对之后的研究者造成了一定启发

条件增强

条件增强
Conditioning Augmentation
•
文本嵌入的隐空间维度通常非常高（> 100），在数据量有限的情况下，这通常会导致隐数据流形中的不连续性

•
从高斯分布 中随机采样latent code，是关于词向量 的函数

image-20221004103231792

•
均值μ和方差Σ使用一个全连接层来求解
•
把KL散度作为一个正则项加入生成器的训练
•
使用重参化技巧
•
使用上述的条件增强方法后，可以产生更多的训练数据，使条件流形更加平滑
•
增加的采样随机性，可以使输入同一个句子时产生不同的输出图像

两阶段的GAN

Stacked GAN

image-20221004103502170

阶段1
•
从标准高斯分布中采样得到z，与从条件增强方法采样得到的 进行concat作为输入
•
为文本描述所对应的真实图像，在所有实验中λ都设为1
•
在判别器中，输入图像经过下采样，最终得到长宽为M的矩阵；而词向量会先经过全连接层来压缩到N维，然后在空间维度上复制变为MMN的矩阵
•
图像和词向量的矩阵concat到一起，再通过1*1卷积和全连接层得到最终的输出分数

阶段2

image-20221004110114039

•
把阶段1的输出 与又一次条件增强采样得到的 进行concat作为输入
•
在生成器中增加了残差block；判别器中的负样本有真实图像-错误文本，生成图像-正确文本两种情况

实现细节
•
上采样使用最近邻resize + 33卷积
•
除了最后一层外，在每个卷积层之后都使用了BN和ReLU
•
在128128的StackGAN中使用了2个残差block，在256256中使用了4个
•
判别器中，下采样的block使用44步长为2的卷积，除了第一层没使用BN外，别的都使用了BN和LeakyReLU
•
首先训练阶段1的GAN 600个epochs，接着将其固定，再训练阶段2的GAN 600个epochs
•
都使用Adam优化器，batch size设为64
•
初始学习率设为2e-4，之后进行指数衰减，每100个epochs衰减到1/2

评价方式

客观评价
• 使用Inception Score
• 在COCO数据集上，直接使用预训练的
Inception模型
• 对于CUB和Oxford-102，使用finetune后的Inception模型
主观评价
• 从COCO的验证集中随机选择4k个文本描述
• 从CUB和Oxford-102的测试集中每个类别随机选择50个文本描述
• 对于每个描述，使用模型生成5个图像
• 在相同的文本描述下，10个评测者对不同模型输出的结果进行排名

模型对比

模型比较
• 对于CUB、Oxford-102和COCO三个数据集，StackGAN在客观和主观评价上都取得了最佳结果
• GAN-INT-CLS只能生成64*64分辨率的图像，缺乏图像细节，得分较低
• GAWWN虽然可以取得更高的得分，但需要使用额外的输入信息，否则无法取得任何有意义的输出，并且得分仍然低于StackGAN

image-20221004111152360

image-20221004111204072

• 阶段1的GAN能够绘制对象的粗略形状和颜色，但一般模糊不清，缺少细节并带有各种缺陷，特别是对于前景目标
• 阶段2的GAN会在阶段1的基础上进一步补充细节，并且在阶段1没能绘制出合理的形状时，仍然能生成合理的对象
• 使用阶段2的判别器来提取生成图像和真实图像的特征，以寻找离生成图像最接近的真实图像，结果表明，生成的结果并不是简单的复制真实图像

image-20221004111234997

论文总结

• 提出了堆叠的GAN网络，结合条件增强方法，能够生成照片级的图像
• 其中阶段1的GAN网络根据给定的文本描述，来生成颜色和形状基本满足要求的草图
• 阶段2的GAN网络，能够纠正阶段1结果的缺陷，并增加更多细节
• 一系列实验显示，与现有的文本到图像方法相比，StackGAN能生成具有更高分辨率更多细节和多样性的目标图像

论文总结

• 提出了堆叠的GAN网络，结合条件增强方法，能够生成照片级的图像
• 其中阶段1的GAN网络根据给定的文本描述，来生成颜色和形状基本满足要求的草图
• 阶段2的GAN网络，能够纠正阶段1结果的缺陷，并增加更多细节
• 一系列实验显示，与现有的文本到图像方法相比，StackGAN能生成具有更高分辨率更多细节和多样性的目标图像

image-20221004111528175

Yuetianw
关注
专栏目录
如何在数学建模比赛中稳拿奖——个人100%获奖经验分享
Talk is cheap, show me the code!
11-09 11万+
1. 和谁组队： 2. 负责算法的赛前准备： 3. 负责数据分析的赛前准备： 4. 负责论文的赛前准备： 1. 评委的评分方式 2.优秀论文特点：
数据结构与算法——从零开始学习（一）基础概念篇
热门推荐
csdn_aiyang的博客
12-06 25万+
前言 数据结构：是指相互之间存在一种或多种特定关系的数据元素的集合用计算机存储、组织数据的方式。数据结构分别为逻辑结构、（存储）物理结构和数据的运算三个部分。 为什么要学数据结构？ 首先，因为数据结构作为计算机专业的专业基础课程，是计算机考研的必考科目之一，如果打算报考计算机专业的研究生，你必须学好它；其次，数据结构是计算机软考、计算机等级考试等相关考试的必考内容之一，想要顺利通过这些考...
Text to image论文精读 StackGAN++: Realistic Image Synthesis with Stacked GAN（具有堆叠式生成对抗网络的逼真的图像合成）
白洞，白色的明天在等着我们
12-13 5077
这篇文章主要工作是：将原先的Stack GAN的两阶段的堆叠结构改为了树状结构。包含有多个生成器和判别器，它们的分布像一棵树的结构一样，并且每个生成器产生的样本分辨率不一样。
StackGAN论文阅读
weixin_46465532的博客
04-24 2216
1.目标 完成把文本转化成图像的任务。 2.面对的困难 ①现有的方法生成的样本会有细节缺失。②高分辨不容易被实现。如果只是在GAN模型中添加更多的上采样层来生成高分辨图像会产生无意义的输出。还有自然图像的分布与模型分布在高维空间上可能不会重叠。 ps:上采样主要目的：放大原图像，从而提高分辨率。 下采样主要目的：①使得图像符合显示区域的大小。②生成对应图像的缩略图。 3.完成的工作 1）提出了一种新的堆叠生成对抗网络，用于从文本描述合成照片真实感图像。它将生成高分辨率图像的难题分解为更易于管理
Text to image论文精读 StackGAN：Text to Photo-realistic Image Synthesis with Stacked GAN具有堆叠生成对抗网络文本到图像合成
白洞，白色的明天在等着我们
12-02 4656
本篇文章的创新点有三：（1）提出了一种新的堆叠生成对抗网络，用于从文本描述合成照片真实感图像。它将生成高分辨率图像分解为更易于管理的子问题，并显著提高了技术水平。StackGAN首次从文本描述生成256×256分辨率的图像，具有照片般逼真的细节。（2） **提出了一种新的条件增强**（CA）技术来稳定条件GAN训练，并提高了生成样本的多样性。（3） 大**量的定性和定量实验**证明了整体模型设计的有效性以及各个组件的影响，这为设计未来的条件GAN模型提供了可参考的模板和比较。
StackGAN论文解读
HHzdh的博客
09-09 1210
论文：https://arxiv.org/pdf/1612.03242.pdf 源码：https://github.com/nashory/pggan-pytorch 摘要 从文字描述中生成具有照片般真实感的图片一直是计算机视觉中具有挑战性的一个课题，并且具有很多的应用。现有方法生成的图片可以粗略的反映出给定的描述，但是缺乏需要的细节和生动的对象局部。本文提出了堆叠生成对抗网络（StackGan），它从文字描述中生成具有照片般真实感的图像。第一阶段的GAN根据文字描述草绘出一张简单...
（八）StackGAN-v1 论文笔记与实战
SCU-JJkinging的博客
08-12 2156
（八）StackGAN-v1 论文笔记与实战一、背景及解决的问题二、Conditioning Augmentation（条件增强）三、实现过程（一）Stage-I GAN（二）Stage-II GAN四、实现细节 一、背景及解决的问题        由文本生成高质量的图像是计算机视觉中一个极具挑战性的问题，然而，训练GAN从文本描述中生成高分辨率的真实感图像是非常困难的。简单地在最先进的GAN模型中添加更多的上采样层来生成高分辨率（例如2
【人工智能】国产开源大模型 baichuan-7B 百川聊天 BaiChat 快速开始上手实战&效果实测 —— 希望 baichuan-7B 再打磨打磨吧
AI天才研究院
06-16 1万+
baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威 benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。
目标检测算法——YOLOv7训练自己的数据集（保姆级教程）
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
10-26 9650
目标检测算法——YOLOv7训练自己的数据集（保姆级教程）！！！
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
论文引介 | StackGAN: Stacked Generative Adversarial Networks
人工智能
04-09 9526
文章原名：StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks 作者：Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang, Xiaolei Huang, Xiaogang Wang, Dimitris Metaxa
StackGAN++: Realistic Image Synthesiswith Stacked Generative Adversarial Networks 论文解读
weixin_43551972的博客
05-06 1621
StackGAN++是ICCV 2017 的文章《StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks》。由于Stack GAN 在训练过程中不足够稳定以及生成更多种类的样本图片，由此提出了更好的Stack GAN++。 一、相关工作 Stack GAN-V1 论文链接: [https:...
论文阅读笔记一【StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Netwo】
weisiqi520的博客
04-24 2192
先验知识： GAN简介 CGAN简介 本文是研究文本生成图片的问题，相比于之前的论文不能生成必要的细节和具体的对象，本文着重要解决的问题是提高图片的分辨率同时为图片添加必要的细节。其实stackGAN的原理和做法很类似，可以看作是两个CGAN串联在一起。 如图所示，上方是Stage-I GAN：它根据给定的文本描述绘制对象的原始形状和基本颜色，并从随机噪声向量绘制背景布局，从而产生低分...
StackGAN++/StackGAN-v2论文阅读笔记
MISS_XDY的博客
05-25 971
参考： https://blog.csdn.net/Forlogen/article/details/94015212 StackGAN++是StackGAN的研究团队又提出来的一种改进版本，也叫做StackGAN-v2，StackGAN也被叫做StackGAN-v1 StackGAN++可以用于有条件和无条件的图像生成。 有条件的图像生成，就比如论文中的使用文字生成图片。 无条件的图像生成，即不加任何约束信息（作为比较，约束信息可以理解为有条件生成中的文本），类似于GAN网络中，使用噪声向.
StackGAN学习笔记
Run_it_faraway的博客
04-16 6001
StackGAN实验
论文笔记：LAFF 文本到视频检索的新基准
zly_Always_be的博客
10-01 980
整理了ECCV2022 Lightweight Attentional Feature Fusion: A New Baseline for Text-to-Video Retrieval 论文的阅读笔记
论文笔记：Online Class-Incremental Continual Learning with Adversarial Shapley Value
最新发布
weixin_47505105的博客
10-04 179
这篇工作的focus 是 memory-based approach。
车辆重识别（2020NIPS去噪扩散概率模型）论文阅读2024/9/27
vegetabler的博客
09-28 564
从标准正太分布中采样得到z1，给出β1的值，对x0进行参数重整化，得到x1的值，形式上来看就是x1=x0+噪声，然后向参数网络中输入x0，t等数据，进行网络训练，使得所输出的预测噪声尽量和加入的噪声z1有较小的差距，一边扩散一边训练参数网络，直到结束。然后，我们在T个轮次中，不断向其加入高斯噪声（其实加入高斯噪声指的就是对于每一步的xt，对其参数重整化，也就是说让xt*σ+μ，当然这里的σ和μ都不是一个简单的值，使得经过处理之后的xt符合相应的高斯分布），使得最终的xT变成了一个各向独立的高斯分布。
天猫推荐算法竞赛：快速上手与HelloWorld解析
"天猫推荐算法竞赛-快速上手篇pdf" 这篇文档主要介绍了天猫举办的一场推荐算法竞赛，目的是预测用户在第五个月可能购买的品牌，基于他们在前四个月的行为数据。竞赛评估标准是通过准确率和召回率计算F1-SCORE。 在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yuetianw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值