DeepFloyd IF：由文本生成图像的强大模型，能够绘制文字的 AI 图像工具

最新推荐文章于 2024-06-15 11:56:23 发布

丁希希哇

最新推荐文章于 2024-06-15 11:56:23 发布

阅读量1.2k

点赞数 14

分类专栏： AIGC阅读学习文章标签：人工智能计算机视觉 AIGC

本文链接：https://blog.csdn.net/weixin_47748259/article/details/135514178

版权

37 篇文章 9 订阅

订阅专栏

一、DeepFloyd IF 简介

DeepFloyd IF：能够绘制文字的 AI 图像工具
之前的 Stable Diffusion 和 Midjourney 都无法生成带有文字的图片，而文字都是乱码。 DeepFloyd IF，这个文本到图像的级联像素扩散模型功能强大，能巧妙地将文本集成到图像中。
DeepFloyd IF的优点是它能够生成高度真实的图像，并且具有很强的语言理解能力。它使用大规模数据集进行训练，这使得它能够生成高质量的图像。
DeepFloyd IF支持文本到图像的生成和图像到图像的翻译，这使得它在文本到图像的生成领域具有很大的潜力。

DeepFloyd IF 采用模块化设计，由一个固定的文本编码器和三个级联的像素扩散模块组成：

冻结文本编码器： 将文本提示转换为图像。它使用预训练的语言模型将文本提示转化为嵌入，然后通过像素扩散模型将这些嵌入解码为图像。
基本模型： 基于文本提示生成64x64px图像。使用预训练的语言模型和像素扩散模型来生成图像。
超分辨率模型： 包括两个超分辨率模型，每个模型都旨在生成分辨率递增的图像。
- 第一个超分辨率模型生成256x256px的图像，
- 第二个超分辨率模型生成1024x1024px的图像。

DeepFloyd IF模型的所有阶段都使用基于 T5 变换器的固定文本编码器提取文本嵌入，然后将其输入到增强了跨注意力和注意力池化的 UNet 架构中。

第一阶段: 基本扩散模型将定性文本转换为64x64图像。DeepFloyd团队已训练三个版本的基本模型,每个模型的参数都不同:IF-I 400M、IF-I 900M和IF-I 4.3B。
第二阶段: 为了“放大”图像,应用两个文本条件超分辨率模型(Efficient U-Net)对基本模型的输出。第一个模型将64x64图像放大到256x256图像。同样,该模型也有几个版本可用:IF-II 400M和IF-II 1.2B。
第三阶段: 应用第二个超分辨率扩散模型产生生动的1024x1024图像。

DeepFloyd IF是一个模块化的、级联的、像素扩散模型。

模块化:
DeepFloyd IF由几个神经模块组成(可以独立解决任务的神经网络,如从文本提示生成图像和超分辨率),这些模块在一个体系结构中相互作用,产生协同效应。
级联：
DeepFloyd IF以级联方式对高分辨率数据进行建模,使用不同分辨率下单独训练的一系列模型。该过程从生成唯一低分辨率样本的基本模型(“player”)开始,然后由连续的超分辨率模型(“amplifiers”)上采样以产生高分辨率图像。
扩散:
DeepFloyd IF的基本模型和超分辨率模型是扩散模型,其中使用一系列步骤的马尔科夫链向数据中注入随机噪声,然后反转该过程以从噪声中生成新数据样本。

和stable diffusion最大的区别是deep-floyd是在像素空间做扩散，而不是在latents空间做扩散。
像素：
DeepFloyd IF在像素空间工作。与使用潜在表示的潜在扩散模型(如Stable Diffusion)不同,扩散是在像素级实现的。

关注