SUR-adapter 开源项目教程

SUR-adapter 开源项目教程

SUR-adapterSUR-adapter for pre-trained diffusion models can acquire the powerful semantic understanding and reasoning capabilities from large language models to build a high-quality textual semantic representation for text-to-image generation.项目地址:https://gitcode.com/gh_mirrors/su/SUR-adapter

项目介绍

SUR-adapter 是一个用于增强文本到图像预训练扩散模型的大型语言模型适配器。该项目通过集成大型语言模型的强大语义理解和推理能力，为文本到图像生成构建高质量的文本语义表示。该项目的论文已被第31届ACM国际多媒体会议（ACM MM 2023）接受为口头报告。

项目快速启动

1. 克隆代码

git clone https://github.com/Qrange-group/SUR-adapter.git
cd SUR-adapter

2. 准备环境

确保安装了 PyTorch。如果未安装，可以通过官方网站指南进行安装。例如，如果你的 CUDA 版本是 11.1，可以使用以下命令安装 PyTorch：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu111

然后安装 diffusers：

pip install diffusers

3. 加载模型并生成图像

from SUR_adapter import Adapter
import torch

adapter_path = "checkpoints/runwayml_fp16/test_llm13B_llml39_lr1e-05_llmw1e-05_promptw1e-05_adapterw0.1/adapter_checkpoint1000.pt"
adapter = Adapter()
adapter.to("cuda")
adapter.load_state_dict(torch.load(adapter_path))

model_path = "runwayml/stable-diffusion-v1-5"
from diffusers import SURStableDiffusionPipeline

pipe = SURStableDiffusionPipeline.from_pretrained(model_path, adapter=adapter)
pipe.to("cuda")

pipe.safety_checker = lambda images, clip_input: (images, False)
image = pipe(prompt='An aristocratic maiden in medieval attire with a headdress of brilliant feathers').images[0]
image.show()

应用案例和最佳实践

案例1：生成中世纪贵族女性图像

使用以下提示生成图像：

image = pipe(prompt='An aristocratic maiden in medieval attire with a headdress of brilliant feathers').images[0]
image.show()

案例2：生成科幻场景图像

使用以下提示生成图像：

image = pipe(prompt='A futuristic cityscape with flying cars and neon lights').images[0]
image.show()

典型生态项目

1. Stable Diffusion

Stable Diffusion 是一个广泛使用的文本到图像生成模型，SUR-adapter 通过增强其语义理解能力，提升了生成图像的质量。

2. Diffusers

Diffusers 是一个用于扩散模型的高级库，SUR-adapter 与之集成，提供了更灵活的模型适配和优化选项。

通过以上步骤和案例，您可以快速上手并应用 SUR-adapter 项目，实现高质量的文本到图像生成。

SUR-adapterSUR-adapter for pre-trained diffusion models can acquire the powerful semantic understanding and reasoning capabilities from large language models to build a high-quality textual semantic representation for text-to-image generation.项目地址:https://gitcode.com/gh_mirrors/su/SUR-adapter