vae use in diffusers

最新推荐文章于 2024-09-05 09:39:15 发布
最新推荐文章于 2024-09-05 09:39:15 发布
阅读量324 收藏 3
点赞数 5
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mathstudent/article/details/141460040
版权 
from diffusers import DiffusionPipeline, DDIMScheduler, AutoencoderKL
from torchvision.transforms import ToTensor, ToPILImage


T = ToTensor()
T2 = ToPILImage()

vae = AutoencoderKL.from_pretrained(stable_diffusion_repo_path, subfolder='vae')
rgb_in = T(Image.open('1.jpg'))[None]
tensor_in = vae.encode(rgb_in).latent_dist.sample()
tensor_out = vae.decode(tensor_in).sample
rgb_out = T2(tensor_out[0])

Jcy_ooo
关注
  • 5
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
diffusers-Load pipelines,models,and schedulers
liguandong
11-01 2019
这就是为什么我们设计了DiffusionPipeline，将整个扩散系统的复杂性包装成易于使用的API，同时保持足够的灵活性，以适应其他用例，例如将每个组件单独加载作为构建块来组装自己的扩散系统。作为一个类方法，DiffusionPipeline.from_pretrained()做两件事，1.下载推理所需的权重并缓存，一般存在在.cache文件中，2.将缓存文件中的model_index.json进行实例化。以torch.float16保存，节省一半的内存，但是无法训练，EMA不用于推理，用于微调模型。
详细解读ControlNet Stable Diffusion代码
沉迷单车的追风少年
06-27 2030
​ ControlNet的原理部分可以看我之前写的博客《Image-to-Image任务的终结者：详解ControlNet原理与代码》 ，这篇博客主要讲解一下diffusers版本的ControlNet代码，从代码中洞悉原理，加深理解。
diffuser格式与ckpt格式说明
Qinghub‘博客
06-14 409
diffuser格式与ckpt格式备忘录
【Diffusers教程】一、简介：快速使用Diffusion网络
prinTao的博客
03-06 3659
原始教程地址： https://huggingface.co/docs/diffusers/using-diffusers/write_own_pipeline。
用diffuser代码方式打造Ai作画流水线（1）
liangwqi的博客
03-15 2507
如何用代码方式打造稳定的AI作图流水线
【扩散模型】12、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构
呆呆的猫的博客
01-09 4353
本文主要介绍 stable diffusion
由浅入深理解Latent Diffusion/Stable Diffusion(5)：利用预训练模型快速开始自己的科研任务
沉迷单车的追风少年
06-20 2231
从零开始训练一个stable diffusion大概需要16万美元和1个月的时间，这对于一般的科研工作者来说难以承受，所以如何利用预训练模型快速开始自己的科研训练是一个非常有价值的问题。这篇博客将演示如何利用预训练模型快速开始自己的科研任务，希望对大家有所帮助！
Diffusers代码学习-ControlNet(SDXL）
duhaining1976的博客
06-12 875
AIGC研究及应用系列
【diffusers极速入门（四）】EMA 操作是什么？
weixin_44212848的博客
07-29 696
EMA模型：让模型更稳定、更泛化EMA（Exponential Moving Average，指数移动平均）模型在深度学习中常用于存储模型可学习参数的局部平均值。可以把它想象成一个“影子模型”，这个影子模型的参数会随着原模型的训练不断更新，但更新的方式不是直接复制，而是以指数衰减的方式逐渐向原模型的参数靠拢。EMA模型是一种简单而有效的技术，可以提高深度学习模型的性能。通过维护模型参数的指数移动平均，EMA模型可以帮助模型找到更好的局部最小值，提高模型的稳定性和泛化能力。
3、 DiffusionPipeline原理 & 代码解析 [代码级手把手解析diffusers库]
ZhengrongYue的博客
02-10 2766
3、 DiffusionPipeline原理 & 代码解析 [代码级手把手解diffusers库析]
diffuser
03-26
《diffuser：深入理解Rust编程中的扩散器》 在编程世界中，Rust作为一种系统级编程语言，以其强大的安全性和高性能受到了广泛的关注。在Rust的生态系统中，“diffuser”是一个重要的概念，它涉及到并发控制和内存...
diffuser_hydro.rar_Diffuser modelling_Hydro power plant_diffuser
07-15
Diffuser modelling inside the hydro power plant.
如何开发主播美颜工具？直播美颜SDK的实现方案
q1031691172的博客
09-04 833
由于直播场景对实时性要求极高，因此性能优化是美颜SDK开发的关键。开发者可以通过减少计算复杂度、优化算法效率、利用硬件加速等手段来提升性能。同时，还需在不同设备和操作系统上进行兼容性测试，确保SDK的广泛适用性。
YOLOV5入门教程-yolov5s.yaml文件
vimpirespider的博客
09-04 1336
这段backbone共有9个层次，每个层次逐步提取图像特征并下采样。最后输出的特征图尺寸为40x40，通道数为1024。这个特征图包含了从输入图像中提取到的高层次特征，准备在后续的网络层中用于目标检测。
智能化升级：AI在客服知识库中的应用
LookLook同学的博客
09-03 1657
探讨AI在客服知识库中的应用，提升效率与用户体验。
Transformer
m0_65325092的博客
09-04 510
是谷歌2017年发表在NeurlIPS上的文章中提出的模型。模型仅基于注意力机制，能够有效捕捉输入序列中的长距离依赖关系，完全不涉及循环和卷积，解决了传统的序列到序列(Seq2Seq)模型处理可变长序列时存在的问题(RNN处理长序列时易出现梯度消失或爆炸，不能并行计算，难以捕捉长距离依赖关系。CNN卷积操作的输入需要具有固定尺寸，处理可变长序列时为使序列长度相同需要填充短序列因而效率较低)。实验表明其在质量上更优越，更易于并行化，训练时间也大大减少。
Behind the Code：与 Rakic 和 Todorovic 对话 OriginTrail 如何实现 AI 去中心化
最新发布
CryptoBuffett的博客
09-05 1195
它可以以去中心化的方式访问不同来源的知识资产，同时维护数据所有权和知识产权，并且提供可验证性，从而精确确定某个知识资产的来源，并将其作为 AI 的输入。迄今为止，平行链的运行非常顺利，没有出现停机现象，拥有独立的治理结构和所有可用的 Pallet，这是 Polkadot 从一开始就做对的地方。另一方面是 “知识网络” 的概念，这一概念最早由万维网的创始人蒂姆·伯纳斯·李提出，他也是 “Web 3.0” 这一术语的最初提出者，该术语最初被称为 “语义网”，如今则体现在知识图谱的概念中。
huggingface diffuser库
10-07
huggingface diffuser库是一个用于生成图像的库，它基于稳定扩散方法。你可以通过huggingface的官方文档了解更多关于diffuser库的信息和用法。首先，确保你同意了模型的使用协议。如果你使用官方colab，需要输入huggingface的access token来验证你是否同意了协议。如果你不想输入access token，你可以执行以下命令将模型的权重和其他文件下载到本地： ``` git lfs install git clone https://huggingface.co/CompVis/stable-diffusion-v1-4 ``` 如果你想要高精度（但显存占用高），你可以删除代码中的`revision="fp16"`和`torch_dtype=torch.float16`这两行。然后，你可以使用以下代码导入库并生成图像： ```python import torch import os from diffusers import StableDiffusionPipeline os.environ["CUDA_VISIBLE_DEVICES"] = "2" pipe = StableDiffusionPipeline.from_pretrained( "CompVis/stable-diffusion-v1-4", revision="fp16", torch_dtype=torch.float16 ) pipe = pipe.to("cuda") ``` 现在你可以使用diffuser库生成图像了。请告诉我还有什么相关问题我可以回答的。 相关问题: 1. diffuser库的稳定扩散方法是什么？ 2. 如何在colab中使用huggingface的access token？ 3. 有哪些其他的图像生成库可以推荐？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值