常用 的 预训练权重格式 safetensor、ckpt、LoRA

Diffusers的预训练权重

Load different Stable Diffusion formats

稳定扩散模型有不同的格式，具体取决于它们训练和保存的框架以及下载它们的位置。转换这些格式以在 Diffusers 中使用，可以让您使用该库支持的所有功能，例如**使用不同的调度程序进行推理、构建自定义管道以及用于优化推理速度**的各种技术和方法。

PyTorch.ckpt

检查点 - 或.ckpt- 格式通常用于存储和保存模型。该.ckpt文件包含整个模型，大小通常为数 GB。虽然您可以.ckpt直接使用**from_single_file()**方法加载和使用文件，但通常最好将.ckpt文件转换为 Diffusers，这样两种格式都可用。

转换文件有两种选项.ckpt：使用空格转换检查点或.ckpt使用脚本转换文件。

用空格转换

转换.ckpt文件最简单、最方便的方法是使用**SD 到 Diffusers** Space。您可以按照空间上的说明来转换文件.ckpt。

这种方法对于基本模型效果很好，但对于更定制的模型可能会遇到困难。如果空间返回空拉取请求或错误，您就会知道空间失败。在这种情况下，您可以尝试.ckpt使用脚本转换文件。

用脚本转换

Diffusers 提供了用于转换文件的**转换脚本**.ckpt。这种方法比上面的Space更可靠。

在开始之前，请确保您有 Diffusers 的本地克隆来运行脚本并登录到您的 Hugging Face 帐户，以便您可以打开拉取请求并将转换后的模型推送到 Hub。

Keras .pb 或 .h5

🧪 这是一个实验性功能。目前 Convert KerasCV Space 仅支持稳定扩散 v1 检查点。

KerasCV支持稳定扩散v1 和 v2的训练。然而，它为试验用于推理和部署的稳定扩散模型提供了有限的支持，而 🤗 Diffusers 为此目的提供了一套更完整的功能，例如不同的噪声调度程序、闪光注意和其他优化技术。

Convert KerasCV Space 将文件转换.pb为.h5PyTorch，然后将它们包装在**StableDiffusionPipeline**中，以便准备进行推理。转换后的检查点存储在 Hugging Face Hub 上的存储库中。

对于此示例，让我们转换**[sayakpaul/textual-inversion-kerasio](https://huggingface.co/sayakpaul/textual-inversion-kerasio/tree/main)**使用文本反转训练的检查点。它使用特殊的令牌<my-funny-cat>来个性化带有猫的图像。

转换 KerasCV Space 允许您输入以下内容：

• 你的拥抱标志。

• 下载 UNet 和文本编码器权重的路径。根据模型的训练方式，您不一定需要提供 UNet 和文本编码器的路径。例如，文本反转仅需要文本编码器的嵌入，而文本到图像模型仅需要 UNet 权重。

• 占位符标记仅适用于文本反演模型。

• 是output_repo_prefix

  存储转换后的模型的存储库的名称。

点击提交按钮即可自动转换 KerasCV 检查点！检查点成功转换后，您将看到包含转换后的检查点的新存储库的链接。点击新存储库的链接，您将看到 Convert KerasCV Space 生成了一个带有推理小部件的模型卡，用于尝试转换后的模型。

A1111 LoRA 文件

Automatic1111 (A1111) 是一种流行的稳定扩散 Web UI，支持**Civita等模型共享平台。使用低秩适应 (LoRA) 技术训练的模型特别受欢迎，因为它们训练速度快，并且文件大小比完全微调的模型小得多。🤗 Diffusers 支持使用load_lora_weights()**加载 A1111 LoRA 检查点：