粗读Zero-Shot Text-to-Image Generation

最新推荐文章于 2025-03-26 15:14:20 发布
最新推荐文章于 2025-03-26 15:14:20 发布
阅读量1.8k 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42578970/article/details/121166569
版权

        云里雾里的文章，没看懂，方向和我的方向不同就算了，作者写得也感觉有点乱。

        第一阶段是用dEVA编码器把图像编码为32*32的图像标记(iamge tokens)

        第二步用dEVA解码器把标记还原为图像。

        最后用transformer计算图像和token之间的关联度，找出关联度最大的。之后，将读入的文字转为token，就能解码出图像。

dalle:zero-shot text-to-image generation
liguandong
08-02 3685
用GAN不用VAE，可以提高图像保真度，其实在生成领域，包括超分等场景，最后使用gan去做decoder是很普遍的，就是因为gan生成的图的保真度好，但是gan也有问题，样本可能遭受严重的伪影，例如对象失真，不合逻辑的对象放置或前景和背景元素的不自然混合，之前看超分领域，cnn解码出来的图会有明显的平滑属性，没有sharp的棱角，但是gan的方法又会生成一些和原图无关的东西。DALL-E的具体实现，openAI没有公布，github上发布的代码只有一个dVAE的模型，相当于只有一半。但Hugging …..
【论文阅读】AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars
Blueekyyy
09-25 1240
本文通过输入形状shape、外观appearence、动作motion的自然语言来生成一个3D Avatar，该3D Avatar可以做动作，优势在于便于外行用户操作。
【AI论文和代码2021年】Zero-Shot_Text-to-Image Generation from OpenAI
11-25
OpenAI 成功训练了一个能够从文本标题生成图像的网络。 它与 GPT-3 和 Image GPT 非常相似，并产生了惊人的结果。
DALL-E: Zero-Shot Text-to-Image Generation
qq_26136211的博客
07-10 3910
Zero-Shot Text-to-Image Generation 论文阅读笔记 摘要： 基于零样本（zero-shot）生成。使用两亿个文本-图像对训练。 公开源码（https://github.com/openai/DALL-E）不是很完善，缺了比如text encoder等关键部分。 这论文写得emmm不堪入目。 效果： 方法 训练阶段分两部分： 阶段一，压缩图片。训练一个discrete variational autoencoder (dVAE)，即离散的变分自编码器来压缩256x256大小
DALL-E的论文《Zero-Shot Text-to-Image Generation》解析
最新发布
阿正的梦工坊
03-26 693
这篇论文提出了一种基于大规模自回归 Transformer 的简单方法，用于从文本生成图像，并在零样本（zero-shot）场景下展现了惊艳的表现。以下将详细介绍其核心思想、技术细节和数学公式，适合熟悉 Transformer 和 LLM 的研究者深入理解。
Zero-Shot Text-to-Image Generation阅读笔记
qq_45745941的博客
03-20 905
目标：训练一个Transformers将文本和图像标记作为单个数据流进行自回归建模以往的解决办法：可能性目标倾向于优先考虑像素之间的短程依赖关系建模，因此大部分建模能力将用于捕获高频细节，而不是使物体在视觉上可识别的低频结构。
[PMLR 2021] Zero-Shot Text-to-Image Generation：零样本文本到图像生成
Joselynzhao
06-29 1846
Fig 1. 原始图像(上)和离散VAE重建图像(下)的比较。编码器对空间分辨率进行8倍的下采样。虽然细节(例如，猫毛的纹理、店面上的文字和插图中的细线)有时会丢失或扭曲，但图像的主要特征通常仍然是可识别的。我们使用8192的大词汇量来减轻信息的丢失。
AIGC论文-DALLE-Zero-Shot Text-to-Image Generation
02-28
### AIGC论文-DALLE-Zero-Shot Text-to-Image Generation #### 摘要与研究背景 本文探讨了一种名为DALLE的模型在零样本（Zero-Shot）文本到图像生成任务中的应用。传统的文本到图像生成技术通常侧重于为特定数据集...
【AI论文和代码2021年】Zero-Shot-Text-to-Image Generation from OpenAI
12-09
标题中的“Zero-Shot Text-to-Image Generation”指的是在没有经过特定示例训练的情况下，模型能够根据输入的文本描述生成相应的图像的技术。OpenAI的研究团队在这个领域取得了突破性进展，他们开发的网络能够实现这...
【论文阅读】DALL·E: Zero-Shot Text-to-Image Generation
weixin_57974242的博客
11-09 6181
OpenAI第一代文本生成图片模型。
【论文精读】DALLE: Zero-Shot Text-to-Image Generation零样本文本到图像生成
weixin_47748259的博客
03-02 3366
DALL·E 是GPT-3的 120 亿参数版本， 经过训练，可以使用文本-图像对的数据集从文本描述生成图像。我们发现它具有多种功能，包括创建动物和物体的拟人化版本、以合理的方式组合不相关的概念、渲染文本以​​及对现有图像应用转换。DALL·E 2可以生成更逼真、更准确的图像，分辨率提高 4 倍。文本到图像生成传统上专注于寻找更好的建模假设以在固定数据集上进行训练，而这些假设会涉及到复杂的架构、辅助损失或辅助信息。基于transformer将文本和图像标记自回归建模为单个数据流。
【论文阅读】（DALL-E）Zero-Shot Text-to-Image Generation
kanon的博客
03-19 1244
传统上，文本到图像生成侧重于为固定数据集上的训练找到更好的建模假设。这些假设可能涉及复杂的架构、辅助损耗或侧面信息，例如训练期间提供的对象的部分标签或分割掩码。论文提出了一种基于transformer的简单方法，transformer将文本和图像tokens自回归的建模为单个数据流。
DALL-E:Zero-Shot Text-to-Image Generation
u013308709的博客
12-23 646
参考：https://blog.csdn.net/weixin_57974242/article/details/134227455。
（2021|PMLR，DALL·E，自回归，Transformer）零样本文本到图像生成
qq_44681809的博客
09-20 522
本文使用从互联网收集的 2.5 亿个图像文本对训练 120 亿个参数的自回归 transformers（该 transformer 将文本和图像 token 自回归地建模为单个数据流），获得灵活、高保真度的可通过自然语言控制的图像生成模型。该模型在流行的 MS-COCO 数据集上实现了零样本高质量图像生成，而无需使用任何训练标签。
（2023|NIPS，MUSE，掩蔽适配器，基于反馈的迭代训练）StyleDrop：任意风格的文本到图像生成
qq_44681809的博客
01-07 1110
本文介绍 StyleDrop，通过微调极少量的可训练参数并通过迭代训练与人工或自动反馈改善质量，高效地学习新的风格。即使用户只提供了单个风格图像，StyleDrop 也有好结果。通过将不同分布结合起来，使风格和内容都能够个性化。
StyleDrop:生成任意风格的图片
zephyr_wang的博客
06-14 587
StyleDrop可以生成如下18种不同风格的图片
DALL·E:OpenAI第一代文本生成图片模型
zephyr_wang的博客
04-07 2740
本文根据openAI 2021年2月的《》翻译总结的。原文详见。DALL-E : 论文中没看到这个名字，可能是后起的吧。DALL-E有120亿参数，基于自回归transformer，在2.5亿 图片-文本对上训练的。在人为评价中，90%的时间认为该模型好于以前的模型。DALL-E还没有使用扩散模型使用的dVAE（discrete variational autoencoder离散变分自动编码器）。文中主要和GAN相关模型进行比较，如AttnGAN、DM-GAN、DF-GAM.
脚踩Midjourney、Stable Diffusion，谷歌StyleDrop真要杀疯了！
weixin_42010722的博客
06-13 782
最近，谷歌发布了一款引人瞩目的AI绘画工具——StyleDrop。这个工具通过学习特定的艺术风格，能够根据文字描述一键生成与之相同风格的图片，简直让人惊叹不已。这个新工具在艺术和设计领域掀起了一股热潮！AI的力量实在是令人疯狂，正在悄然改变着艺术设计的游戏规则。只需提供一张参考图，StyleDrop就能立即生成各种相同风格的图片，相似度高达99.99%！它甚至能够轻松处理平面插画、水彩、油画、3D渲染以及各种材质，还有logo设计和品牌形象制作，只需几秒钟的时间……
zero-shot text-to-speech (TTS)
03-13
### 零样本文本转语音 (Zero-Shot TTS) 技术与实现 #### 定义与概述 零样本学习是指模型能够在不经过特定训练的情况下处理未曾见过的数据类别。对于文本转语音(TTS)，这意味着能够合成从未听过的声音或说话者的声音，而无需针对该声音或说话者的额外训练数据。 #### 核心要素 为了实现这一目标，核心在于构建可以泛化至新输入的强大特征表示能力。这通常依赖于预训练的语言模型或其他形式的多模态模型来捕捉不同模式之间的关系[^2]。 #### 数学建模与公式 具体来说，在零样本文本转语音系统中，可能会采用变分自编码器(VAEs)或者生成对抗网络(GANs)等架构来进行声码器的设计；同时利用注意力机制使得模型可以在字符序列和对应的频谱图之间建立联系。此外，还可能涉及到跨域映射函数的学习，以便有效地将源领域中的知识迁移到目标领域上。 #### 实现细节 一种常见的做法是从大量多样化的音频-文字配对数据集中提取通用特性，并通过迁移学习的方式应用于新的个体身上。例如，X-Text 数据集提供了丰富的图像-文本、视频-文本以及音频-文本资源，可用于开发更加鲁棒性的多模态理解能力和表达方式[^1]。 ```python import torch.nn as nn class Vocoder(nn.Module): def __init__(self): super().__init__() self.encoder = Encoder() self.decoder = Decoder() def forward(self, x): z = self.encoder(x) return self.decoder(z) def train_vocoder(vocoder, dataset): optimizer = optim.Adam(vocoder.parameters()) for epoch in range(num_epochs): for batch in dataset: mel_spectrogram = extract_mels(batch['audio']) predicted_audio = vocoder(mel_spectrogram) loss = compute_loss(predicted_audio, batch['audio']) optimizer.zero_grad() loss.backward() optimizer.step() ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值