DALL-E3: 加入字幕提示调优的文本-到-图像生成器

23年10月OpenAI公布DALL- E3的技术报告"Improving Image Generation with Better Captions"。

最早的DALL- E v1是这样的：图像和文本的编码器输出合并，利用CLIP得到输出。

DALL-E v2做了改进，加入扩散模型，结构如下：

DALL-E v3采用了提示调优技术。

对生成的高度描述性图像字幕进行训练，可以显着提高文本-到-图像模型的提示跟从能力。 现有的文本-到-图像模型很难跟从详细的图像描述，并且经常忽略单词或混淆提示的含义。 假设这个问题源于训练数据集中的噪声和不准确的图像字幕。 OpenAI训练定制图像字幕器并用它来重新捕获训练数据集来解决这个问题。 训练了几个文本-到-图像模型，发现这些字幕的训练确实提高了提示跟从能力。 利用这些发现OpenAI构建了 DALL-E 3：一种新的文本-到-图像生成系统，旨在衡量提示的跟从性、连贯性和美观性，各种评估对其性能进行了基准测试，发现与竞争对手相比其具有优势。 OpenAI发布了这些评估的示例和代码，以便未来的研究可以继续优化文本-到-图像系统。

技术细节如下：

文本-到-图像模型是在由大量文本-图像配对 (t, i) 组成的数据集上进行训练的，其中 i 是图像，t 是描述该图像的文本。 在大规模数据集中，t 通常源自人类作者，专注于对图像主题的简单描述，而忽略图像中描绘的背景细节或常识关系。 t 中通常省略的重要细节可能包括：

1. 厨房中的水槽或人行道上的停车标志等物体的存在以及对这些物体的描述。
2. 场景中目标的位置以及这些目标的数量。
3. 常识细节，例如场景中物体的颜色和大小。
4. 图像中显示的文本。

更糟糕的是，在互联网上找到的字幕通常根本不正确； 描述图像错误方向的相关细节。 例如，在往往用于生成图像字幕的替代文本中经常会发现广告。

所有这些缺点都可以使用合成生成的字幕来解决。

图像字幕生成器与预测文本的传统语言模型非常相似。 首先是语言模型的简要描述。 token化器将文本字符串分解为离散的tokens。 以这种方式分解，语料库的文本部分就可以表示为一个序列，t = [t1, t2,… ，tn]。 然后可以通过最大化定义的似然函数来构建文本的语言模型。

要将此语言模型转换为字幕生成器，只需对图像进行条件调整即可。 这里的挑战在于，图像由数千个像素值组成。 对于当前的神经网络来说，对所有这些信息进行调节的效率非常低，因此需要一个压缩的表示空间。 方便的是，CLIP[17] 就提供了这一点。因此，给定一个预训练的 CLIP 图像嵌入函数 F(i)，语言模型的目标得到增强。

遵循 （Yu 2022a）的方法，并使用 CLIP 和语言建模的目标在 (t, i) 文本-和-图像对数据集上联合预训练字幕生成器。 由此产生的模型仍然有问题，比如不愿意描述细节。

为了改进图像生成数据集中的字幕，希望使字幕生成器产生图像描述，这对于学习文本-到-图像模型很有用。 在第一次尝试中，构建了一个小型字幕数据集，仅描述图像的主要主题。 然后继续在这个数据集上训练字幕生成器。 此过程引起的更新，导致模型偏向于描述图像的主要主题。 这种微调生成的字幕称为“短合成字幕”。

第二次重复这个过程，创建一个长的、高度描述性的字幕数据集，描述微调数据集中每个图像的内容。 这些字幕不仅描述了图像的主要主题，还描述了它的周围环境、背景、图像中的文本、样式、颜色等。再次在此数据集上微调基本字幕器。 此字幕生成器生成的字幕称为“描述性合成字幕”。

如图显示了真值（GT）、简短合成字幕（SSC）和描述性合成字幕（DSC）的示例。

构建完成后，将图像字幕器微调到文本-到-图像数据集中的每个图像，从而生成一组用于后续实验的合成字幕。

为了评估，在相同的图像数据集上训练了相同的 T5 为条件的图像扩散模型。 所有模型均以 2048 的批量大小训练 500,000 个训练步，相当于总共 1B 个训练图像。

训练完成后，用评估数据集中的字幕从每个模型生成 50,000 张图像。 然后，用（Hessel 2022）概述的 CLIP-S 指标来评估这些生成的图像。 选择 CLIP 分数作为指标，因为它与文本图像相似度有很强的相关性。

实验表明，可以通过训练高比例的合成字幕来最大限度地提高模型的性能。 然而，这样做会使模型自然地适应字幕生成器发出的、冗长高度描述性字幕的分布。

众所周知，生成模型从训练分布中采样时会产生较差的结果。 因此，为了从模型中挖掘出最大的潜力，需要从具有高度描述性的字幕中专门进行采样。 幸运的是，随着大语言模型最近的突破，这是一个可以解决的问题。 像 GPT-4[14] 这样的模型已经变得非常擅长需要想象力的任务，例如讲故事和写诗。 按理说，他们也可能擅长在图像描述中提出看似合理的细节。

事实上，GPT-4 很容易将任何字幕“上采样”为高度描述性的字幕。 如图所示，利用 LLM 对字幕进行“上采样”不仅可以添加缺失的细节，还可以消除（相对）小图像生成模型难以学习的复杂关系歧义。 最终的结果是，模型通常会正确渲染图像，不然就会出错。

如下就是出错的例子：