Kaggle赛题解析：Diffusion Prompt生成

一、比赛信息

比赛名称：Stable Diffusion - Image to Prompts

推断生成高度详细、清晰的焦点、插图、宏伟、史诗般的 3d 渲染图像的prompt

比赛链接：https://www.kaggle.com/competitions/stable-diffusion-image-to-prompts

比赛类型：AGIC、Prompt生成

二、比赛背景

文本到图像模型的流行是全新的提示工程领域。一部分是艺术，一部分是悬而未决的科学，机器学习从业者和研究人员正在迅速努力理解提示与其生成的图像之间的关系。

将“4k”添加到提示中是使其更具摄影性的最佳方式吗？提示中的小扰动会导致高度不同的图像吗？提示关键字的顺序如何影响生成的场景？本次比赛的任务是创建一个模型，该模型可以可靠地反转生成给定图像的扩散过程。

为了以稳健的方式计算提示相似度，这意味着尽管字符级别存在差异。本次比赛希望创建“高质量、专注、复杂、详细、具有不真实的稳健交叉验证风格”的模型。

三、比赛任务

本次比赛的目标是扭转生成文本到图像模型的典型方向：不是从文本提示生成图像，而是可以创建一个模型来预测给定生成图像的文本提示。

参赛选手需要对包含由 Stable Diffusion 2.0 生成的各种（提示、图像）对的数据集进行预测，以了解潜在关系的可逆性。

四、评价指标

使用预测和实际提示嵌入向量之间的平均余弦相似度得分来评估提交。可以在本笔记本中找到有关如何为基本事实提示计算嵌入的精确细节。

五、数据描述

您应对此挑战的任务是预测用于生成目标图像的提示。这个挑战的提示是使用各种（未公开的）方法生成的，范围从相当简单到相当复杂，具有多个对象和修饰符。

图像是使用 Stable Diffusion 2.0 (768-v-ema.ckpt) 根据提示生成的，以768x768缩小到 512x512 得到比赛数据集。

• images/ - 根据提示生成的图像；您的任务是预测用于生成此文件夹中每个图像的提示。隐藏的重新运行测试文件夹包含大约 16,000 张图像。
• prompts.csv - 用于在 images/ 文件夹中创建示例的提示。这些仅作为说明性示例提供。每个参赛者都可以制定自己的策略来创建图像训练集，使用预训练模型等。
• sample_submission.csv - 格式正确的示例提交文件。在此文件中找到的值是 prompts.csv 文件中提示的嵌入，因此可用于验证您的嵌入管道。该笔记本演示了如何计算嵌入。

六、解题思路

赛题是一个比较明确的任务，首先需要选手理解Stable Diffusion 2.0的原理，并考虑到原始模型的Prompt，也需要考虑到原始模型的词表。

对于图像则可以考虑使用CLIP生成文本描述，或者使用某个模型来调整训练得到图像描述。