使用 InstructPix2Pix 对 Stable Diffusion 进行指令微调

于 2023-06-20 18:00:12 发布
阅读量1.6k 收藏 2
点赞数 2
文章标签： stable diffusion 机器学习 人工智能 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HuggingFace/article/details/131318754
版权
本文探讨如何通过指令微调使StableDiffusion理解和执行特定图像编辑任务，如卡通化和底层图像处理。通过创建指令提示数据集并微调模型，实验结果显示模型能更好地遵循指令，但还存在对某些任务处理不佳的问题，需要更多训练数据和优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文主要探讨如何使用指令微调的方法教会 Stable Diffusion 按照指令 PS 图像。这样，我们 Stable Diffusion 就能听得懂人话，并根据要求对输入图像进行相应操作，如: 将输入的自然图像卡通化 。

5f6272668a8147713cbce358f58063f0.png
图 1：我们探索了 Stable Diffusion 的指令微调能力。这里，我们使用不同的图像和提示对一个指令微调后的 Stable Diffusion 模型进行了测试。微调后的模型似乎能够理解输入中的图像操作指令。（建议放大并以彩色显示，以获得最佳视觉效果）

InstructPix2Pix: Learning to Follow Image Editing Instructions 一文首次提出了这种教 Stable Diffusion 按照用户指令 编辑 输入图像的想法。本文我们将讨论如何拓展 InstructPix2Pix 的训练策略以使其能够理解并执行更特定的指令任务，如图像翻译 (如卡通化) 、底层图像处理 (如图像除雨) 等。本文接下来的部分安排如下:

  • 指令微调简介

  • 本工作的灵感来源

  • 数据集准备

  • 训练实验及结果

  • 潜在的应用及其限制

  • 开放性问题

你可在原文找到我们的代码、预训练模型及数据集。

引言与动机

指令微调是一种有监督训练方法，用于教授语言模型按照指令完成任务的能力。该方法最早由谷歌在 Fine-tuned Language Models Are Zero-Shot Learners (FLAN) 一文中提出。最近大家耳熟能详的 Alpaca、FLAN V2 等工作都充分证明了指令微调对很多任务都有助益。

下图展示了指令微调的一种形式。在 FLAN V2 论文 中，作者在一个样本集上对预训练语言模型 (如 T5) 进行了微调，如下图所示。

892691c38616046adcb3ae74c7eee125.png
图 2: FLAN V2 示意图 (摘自 FLAN V2 论文)。

使用这种方法，我们可以创建一个涵盖多种不同任务的训练集，并在此数据集上进行微调，因此指令微调可用于多任务场景:

输入 标签 任务
Predict the sentiment of the
following sentence: “The movie
was pretty amazing. I could not
turn around my eyes even for a
second.”		 Positive Sentiment analysis /
Sequence classification
Please answer the following
question.
What is the boiling point of
Nitrogen?		 320.4F Question answering
Translate the following
English sentence into German: “I have
a cat.”		 Ich habe eine Katze. Machine translation
… … …



在该理念的指导下，FLAN V2 的作者对含有数千个任务的混合数据集进行了指令微调，以达成对未见任务的零样本泛化:
最低0.47元/天 解锁文章
Hugging Face
关注
博客
大模型评估排障指南 | 关于可复现性
05-13 662
它们在标准测试集 MATH-Hard 上预测的答案完全正确，但在 few-shot 简单模板测试中评估得分反而较低，很可能就是过拟合了 GSM8K 数据集 (另一个数学测试集) 的 prompt 和答案格式。，如果不看代码，你可能觉得就是上文提到的那样，直接对比预测结果和参考答案，不过: 如果查看代码会发现，在做对比之前预测结果还多做了一步归一化 (去除标点符号、统一数字格式等)，这明显会改变对比得分。(没错不用惊讶，不一致时也会影响结果差异，因为不同模型对不同样本的表现是不一样的)。
博客
大模型评估排障指南 | 关于 LaTeX 公式解析
05-07 278
或者往代码里添加人工检查来提高模型得分。在几乎陷入问题陷阱之后，我们认为在代码中添加字符串比较检查差不多就能缓解这个问题了。解析真值 (用真值自身对比测试) 只能得到约 0.94 的准确率。来表示数学领域的计算和符号。评估难点在于对模型输出与标准答案的解析和比较。(一个用于符号数学的 Python 库) 来对 LaTeX 进行解析和比较。的模型时经常会遇到，例如 Hugging Face 的。解析 LaTeX 很难。这个问题在评估输出为。lm-evaluation 框架使用。无法解析某些 (标准的。
博客
设计即合规: 开放AI生态中的用户数据治理实践
04-30 1048
通过将数据完全保留在用户的本地环境中，它从根本上改变了传统的 “知情同意” 模式，使许多对数据外泄的担忧变得不再成立，除非用户主动设置将数据传出。这种分布式的方法也促成了多种用户知情同意机制的实践形式 —— 既包括强调 “隐私优先设计” (privacy-by-design) 原则的严格框架，也包括为大规模数据集提供“选择退出” (opt-out) 通道的灵活机制。与那些更复杂、长期的数据管理系统不同，该方法强调的是即时、基于当前会话的控制，让用户在每一次使用时都能清楚地掌控自己的数据使用权。
博客
大模型评估排障指南 | 关于推理
04-24 749
即在 layer 级拆分模型，不同的 layer 被分配到不同的 GPU 上。由于推理时前向过程是线性的，例如 layer 1 的输出是 layer 2 的输入，因此 layer 2 分配的 GPU 需要等待 layer 1 的计算结束才能开始 (也叫 “冒泡 (bubble)”)，同时数据和中间结果也需要 GPU 间传输，这也就导致执行速度较慢。更一般地，确保输入模型的样本的上下文大小是按从大到小的顺序，这样如果上下文大小过大，模型就会直接报错，避免了模型一开始正常运行，直到某个时间才出问题。
博客
让 LLM 来评判 | 技巧与提示
04-09 623
例如，成对比较模型的训练集数据格式中提供了参考答案，如果在评估时没有给定参考答案或者给定的参考答案格式有误，那么评估结果就不可信。例如在某些特定领域 (如医学、法律、数学等)，如果标注员专业性不够，那么得到的结果可能跟直接采用 LLM 一样差。：同一 prompt 输入评估模型执行多次得到的结果可能不一样 (如果温度参数不设为 0)。例如对于施加了相同程度噪声的文本，使用评估模型评估文本质量的评分无法反映噪声的程度。缓解措施：仔细遵循评估模型训练集 prompt 格式 (比如指令微调模型的格式)。
博客
Open R1 项目进展第三期
04-03 567
虽然最终子任务通常是完整问题，但其他大多数子任务往往是难度较低的问题，参赛者可以选择解决部分子任务以获得部分分数，而不是尝试完美解决完整问题 (完美得分非常罕见)。虽然我们计划未来通过模型生成并验证更多具有挑战性的测试用例，添加到我们的 CodeForces 数据集中，但目前我们转向了其他地方寻找完整可用的题目数据。具体来说，我们先提交针对问题最后一个子任务的解决方案，然后依次提交针对倒数第二个、第三个子任务的代码，同时跳过已解决的子任务。不过不管怎样，我们试过的所有数据集里，打包的表现都不如不打包。
博客
Open R1 项目进展第二期
03-31 1078
虽然我们升级了 Math-Verify，让它能更好地处理这些怪格式 (后面会讲改进)，但还是找了个备用方案: 用 Llama-3.3-70B-Instruct 当“裁判”，从被拒的答案里救回一些靠谱的。DeepSeek 团队生成了 60 万条推理记录，用来微调 Qwen 和 Llama 系列模型，结果证明，不用强化学习，直接从 R1 “蒸馏”出来的效果也很棒。除此之外，我们还聊聊社区里一些让人兴奋的进展，比如怎么整理出小而精的高质量数据集来微调模型，以及如何在训练和推理时控制推理模型的“思考步数”。
博客
Open R1 项目进展第一期
03-28 959
但效果不好，吞吐量低，只能同时处理 8 个请求，GPU 的 KV 缓存很快就满了。DeepSeek R1 发布已经两周了，而我们启动 open-r1 项目——试图补齐它缺失的训练流程和合成数据——也才过了一周。我们这才刚起步呢，打算把训练流程弄完，在小模型上试试，再用放大版的推理流程搞出高质量的数据集。虽然大家还在研究 DeepSeek-R1 的成果和报告，但这款模型在发布短短两周后，就已经火遍了大街小巷，吸引了无数目光。: 一个超棒的合成推理数据集，有 114k 个例子，数学、科学、代码、谜题啥都有。
博客
为什么 AI 模型离科学革命还差得很远？
03-26 936
文章的核心观点是，在未来一两年内，我们将拥有一个“装在数据中心里的爱因斯坦之国”，所有 21 世纪的科学发现将在短短 5 到 10 年内被一股脑地完成，从而压缩了整个世纪的科技进程。现在，我们评估 AI 模型智能提升的方式，大多是通过一些“高难度考试题”，比如所谓的“人类的最后一场考试”或 “Frontier Math”，这些测试由博士生设计，问题复杂但都是封闭式、明确有标准答案的题目。在我看来，按照当前的发展路径，我们真正可能得到的，是“一国的服务器上全是唯唯诺诺的好学生”，而不是爱因斯坦。
博客
常见的 AI 模型格式
03-25 800
GGUF 格式的 Llama-3.1 8B 模型示例，链接https://hf.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main。虽然也可以将其用于其他类型的模型，例如通过stable-diffusion.cpp实现的扩散模型，但这并不像在语言模型中的应用那样普遍。
博客
SmolVLM2: 让视频理解能力触手可及
03-21 1005
模型与演示全集https://hf.co/collections/HuggingFaceTB/smolvlm2-smallest-video-lm-ever-67ab6b5e84bf8aaa60cb17c7。虽然属于实验性发布，但期待它能激发更多创新应用。微调笔记https://github.com/huggingface/smollm/blob/main/vision/finetuning/SmolVLM2_Video_FT.ipynb。我们推出三款新模型 (2.56 亿/5 亿/22 亿参数)。
博客
在 Hugging Face Spaces 上使用 Gradio 免费运行 ComfyUI 工作流
03-18 726
在本教程中，我将逐步指导如何将一个复杂的 ComfyUI 工作流转换为一个简单的 Gradio 应用程序，并讲解如何将其部署在 Hugging Face Spaces 的 ZeroGPU 无服务器架构上，这样可以让它以无服务器的方式免费部署和运行。不过，你可能需要根据本教程中学到的知识进行一些修正。虽然需要一些基础的编程知识，但我鼓励初学者尝试跟随本教程，因为它可以作为一个很好的 Python、Gradio 和 Hugging Face Spaces 的入门指南，不需要太多的编程经验。
博客
在 Hugging Face 上部署语音转语音模型
03-11 903
介绍S2S (语音到语音)是 Hugging Face 社区内存在的一个令人兴奋的新项目，它结合了多种先进的模型，创造出几乎天衣无缝的体验: 你输入语音，系统会用合成的声音进行回复。https://github.com/huggingface/speech-to-speech该项目利用 Hugging Face 社区中的 Transformers 库提供的模型实现了流水化处理。该流程处理由以下组件...
博客
LayerSkip: 使用自推测解码加速大模型推理
03-10 929
自推测解码是一种新颖的文本生成方法，它结合了推测解码 (Speculative Decoding) 的优势和大语言模型 (LLM) 的提前退出 (Early Exit) 机制。该方法出自论文LayerSkip: Enabling Early-Exit Inference and Self-Speculative Decoding。它通过使用 同一个模型 的早期层来生成候选词元 (token)，并使...
博客
从文件到块: 提高 Hugging Face 存储效率
03-03 715
Hugging Face 在Git LFS 仓库中存储了超过30 PB 的模型、数据集和 Spaces。由于 Git 在文件级别进行存储和版本控制，任何文件的修改都需要重新上传整个文件。这在 Hub 上会产生高昂的成本，因为平均每个 Parquet 和 CSV 文件大小在 200-300 MB 之间，Safetensor 文件约 1 GB，而 GGUF 文件甚至可能超过 8 GB。设想一下，仅仅修...
博客
让 LLM 来评判 | 设计你自己的评估 prompt
02-26 671
这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示通用 prompt 设计建议我总结的互联网上通用 prompt 的通用设计原则如下:任务描述清晰:Your task is to do X (你的任务是 X).You will be provided with Y (你拿到的信息是 Y...
博客
AI 艺术工具通讯
02-20 982
创刊号 ????AI 领域的发展速度令人惊叹，回想一年前我们还在为生成正确手指数量的人像而苦苦挣扎的场景，恍如隔世 ????。过去两年对开源模型和艺术创作工具而言具有里程碑意义。创意表达的 AI 工具从未像现在这般触手可及，然而这仅仅是冰山一角。让我们共同回顾 2024 年 AI 艺术领域的关键突破与创新工具，并展望 2025 年的发展趋势 (剧透预警 ????: 我们将启动月度资讯精选的订阅????)。2024 重大发...
博客
让 LLM 来评判 | 奖励模型相关内容
02-14 558
这是 让 LLM 来评判 系列文章的第五篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示什么是奖励模型？奖励模型通过学习人工标注的成对 prompt 数据来预测分数，优化目标是对齐人类偏好。训练完成后，奖励模型可以作为人工评估代理的奖励函数，用来改进其他模型。成对比较评分最常见的奖励模型类型是 Bradley-Terry ...
博客
让 LLM 来评判 | 评估你的评估结果
02-10 310
这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示在生产中或大规模使用 LLM 评估模型之前，你需要先评估它在目标任务的表现效果如何，确保它的评分跟期望的任务表现一致。注：如果评估模型的输出结果是二元分类，那么评估会相对简单，因为可使用的解释性分类指标有很多 (如准确率、召回率和精确率...
博客
让 LLM 来评判 | 选择 LLM 评估模型
01-14 643
这是 让 LLM 来评判 系列文章的第二篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示使用现有的 LLM 评估模型时，你可以选择：通用性强、能力高的大模型、专业性强、特定数据偏好的小模型、或自行训练模型。通用性强、能力高的大模型https://arxiv.org/abs/2306.05685v4专业性强、特定数据偏好的小...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值