diffusers-Load pipelines,models,and schedulers_diffusers 加载safetensors

最新推荐文章于 2024-07-09 08:44:41 发布

2401_84159688

最新推荐文章于 2024-07-09 08:44:41 发布

阅读量565

点赞数 22

分类专栏： 2024年程序员学习文章标签：人工智能机器学习

本文链接：https://blog.csdn.net/2401_84159688/article/details/137647560

版权

2024年程序员学习专栏收录该内容

124 篇文章 1 订阅

订阅专栏

from diffusers import DiffusionPipeline

repo_id = “runwayml/stable-diffusion-v1-5”
stable_diffusion = DiffusionPipeline.from_pretrained(repo_id, use_safetensors=True)
stable_diffusion.scheduler.compatibles

from diffusers import DiffusionPipeline, EulerDiscreteScheduler, DPMSolverMultistepScheduler

repo_id = “runwayml/stable-diffusion-v1-5”
scheduler = EulerDiscreteScheduler.from_pretrained(repo_id, subfolder=“scheduler”)
stable_diffusion = DiffusionPipeline.from_pretrained(repo_id, scheduler=scheduler, use_safetensors=True)


可以将PNDMScheduler更换为EulerDiscreteScheduler，在回传到DiffusionPipeline中。


**1.3 safety checker**


safety checker可以根据已知的NSFW内容检查生成的输出，

from diffusers import DiffusionPipeline

repo_id = “runwayml/stable-diffusion-v1-5”
stable_diffusion = DiffusionPipeline.from_pretrained(repo_id, safety_checker=None, use_safetensors=True)


**1.4 reuse components across pipelines**


可以在多个pipeline中可以重复使用相同的组件，以避免将权重加载到RAM中2次

from diffusers import StableDiffusionPipeline, StableDiffusionImg2ImgPipeline

model_id = “runwayml/stable-diffusion-v1-5”
stable_diffusion_txt2img = StableDiffusionPipeline.from_pretrained(model_id, use_safetensors=True)

components = stable_diffusion_txt2img.components


可以将components传递到另一个pipeline中，无需将权重重新加载到RAM中：

stable_diffusion_img2img = StableDiffusionImg2ImgPipeline(**components)


下面的方式更加灵活：

from diffusers import StableDiffusionPipeline, StableDiffusionImg2ImgPipeline

model_id = “runwayml/stable-diffusion-v1-5”
stable_diffusion_txt2img = StableDiffusionPipeline.from_pretrained(model_id, use_safetensors=True)
stable_diffusion_img2img = StableDiffusionImg2ImgPipeline(
vae=stable_diffusion_txt2img.vae,
text_encoder=stable_diffusion_txt2img.text_encoder,
tokenizer=stable_diffusion_txt2img.tokenizer,
unet=stable_diffusion_txt2img.unet,
scheduler=stable_diffusion_txt2img.scheduler,
safety_checker=None,
feature_extractor=None,
requires_safety_checker=False,
)


**1.5 checkpoint variants**


以torch.float16保存，节省一半的内存，但是无法训练，EMA不用于推理，用于微调模型。


**2. models**

from diffusers import UNet2DConditionModel

repo_id = “runwayml/stable-diffusion-v1-5”
model = UNet2DConditionModel.from_pretrained(repo_id, subfolder=“unet”, use_safetensors=True)


所有的权重都存储在一个safetensors中， 可以用.from\_single\_file()来加载模型。safetensors安全且加载速度快。


**2.1 load different stable diffusion formats**


.ckpt也可以用from\_single\_file()，但最好转成hf格式，可以使用diffusers官方提供的服务转：[https://huggingface.co/spaces/diffusers/sd-to-diffusers]( )


也可以使用脚本转：[https://github.com/huggingface/diffusers/blob/main/scripts/convert\_original\_stable\_diffusion\_to\_diffusers.py]( )

python …/diffusers/scripts/convert_original_stable_diffusion_to_diffusers.py --checkpoint_path temporalnetv3.ckpt --original_config_file cldm_v15.yaml --dump_path ./ --controlnet


 A1111 Lora文件，diffusers可以使用[load\_lora\_weights()]( )")加载lora模型：

from diffusers import DiffusionPipeline, UniPCMultistepScheduler
import torch

pipeline = DiffusionPipeline.from_pretrained(
“andite/anything-v4.0”, torch_dtype=torch.float16, safety_checker=None
).to(“cuda”)
pipeline.scheduler = UniPCMultistepScheduler.from_config(pipeline.scheduler.config)

uncomment to download the safetensor weights

#!wget https://civitai.com/api/download/models/19998 -O howls_moving_castle.safetensors

pipeline.load_lora_weights(“.”, weight_name=“howls_moving_castle.safetensors”)

prompt = “masterpiece, illustration, ultra-detailed, cityscape, san francisco, golden gate bridge, california, bay area, in the snow, beautiful detailed starry sky”
negative_prompt = “lowres, cropped, worst quality, low quality, normal quality, artifacts, signature, watermark, username, blurry, more than one bridge, bad architecture”

images = pipeline(
prompt=prompt,
negative_prompt=negative_prompt,
width=512,
height=512,
num_inference_steps=25,
num_images_per_prompt=4,
generator=torch.manual_seed(0),
).images

from diffusers.utils import make_image_grid

make_image_grid(images, 2, 2)


**3.scheduler**


scheduler没有参数化或训练；由配置文件定义。加载scheduler不会消耗大的内存，并且相同的配置文件可以用于各种不同的scheduler，比如下面的scheduler均可与StableDiffusionPipline兼容。


Diffusion流程本质上是由扩散模型和scheduler组成的集合，它们在一定程度上彼此独立。这意味着可以替换流程的某些部分，其中最好的例子就是scheduler。扩散模型通常只定义从噪声到较少噪声样本的前向传递过程，而调度器定义了整个去噪过程，包括：


去噪步骤是多少？随机的还是确定性的？用什么算法找到去噪样本？ 调度器可以非常复杂，并且经常在去噪速度和去噪质量之间进行权衡。

from diffusers import StableDiffusionPipeline
from diffusers import (
DDPMScheduler,
DDIMScheduler,
PNDMScheduler,
LMSDiscreteScheduler,
EulerDiscreteScheduler,
EulerAncestralDiscreteScheduler,
DPMSolverMultistepScheduler,
)

repo_id = “runwayml/stable-diffusion-v1-5”

ddpm = DDPMScheduler.from_pretrained(repo_id, subfolder=“scheduler”)
ddim = DDIMScheduler.from_pretrained(repo_id, subfolder=“scheduler”)
pndm = PNDMScheduler.from_pretrained(repo_id, subfolder=“scheduler”)
lms = LMSDiscreteScheduler.from_pretrained(repo_id, subfolder=“scheduler”)
euler_anc = EulerAncestralDiscreteScheduler.from_pretrained(repo_id, subfolder=“scheduler”)
euler = EulerDiscreteScheduler.from_pretrained(repo_id, subfolder=“scheduler”)
dpm = DPMSolverMultistepScheduler.from_pretrained(repo_id, subfolder=“scheduler”)

replace `dpm` with any of `ddpm`, `ddim`, `pndm`, `lms`, `euler_anc`, `euler`

pipeline = StableDiffusionPipeline.from_pretrained(repo_id, scheduler=dpm, use_safetensors=True)


**4.DiffusionPipline explained**


作为一个类方法，DiffusionPipeline.from\_pretrained()做两件事，1.下载推理所需的权重并缓存，一般存在在.cache文件中，2.将缓存文件中的model\_index.json进行实例化。


feature\_extractor--CLIPFeatureExtractor(transformers)；scheduler--PNDMScheduler；text\_encoder--CLIPTextModel(transformers)；tokenizer--CLIPTokenizer(transformers)；unet--UNet2DConditionModel；vae--AutoencoderKL

{
“_class_name”: “StableDiffusionPipeline”,
“_diffusers_version”: “0.6.0”,
“feature_extractor”: [
“transformers”,
“CLIPImageProcessor”
],
“safety_checker”: [
“stable_diffusion”,
“StableDiffusionSafetyChecker”
],
“scheduler”: [
“diffusers”,
“PNDMScheduler”
],
“text_encoder”: [
“transformers”,
“CLIPTextModel”
],
“tokenizer”: [
“transformers”,
“CLIPTokenizer”
],
“unet”: [
“diffusers”,
“UNet2DConditionModel”
],
“vae”: [
“diffusers”,
“AutoencoderKL”
]
}


下面是runway/stable-diffusion-v1-5的文件夹结构：

.
├── feature_extractor
│   └── preprocessor_config.json
├── model_index.json
├── safety_checker
│   ├── config.json
│   └── pytorch_model.bin
├── scheduler

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

V5QNlo-1712829246756)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-b7o0JRfJ-1712829246756)]

2401_84159688

关注

22
点赞
踩
20

收藏

觉得还不错? 一键收藏
0
评论
diffusers-Load pipelines,models,and schedulers_diffusers 加载safetensors

from diffusers import DiffusionPipelinerepo_id = “runwayml/stable-diffusion-v1-5”stable_diffusion = DiffusionPipeline.from_pretrained(repo_id, use_safetensors=True)stable_diffusion.scheduler.compatiblesfrom diffusers import DiffusionPipeline, EulerDiscr
复制链接

扫一扫