Faster Diffusion：重新思考扩散模型中UNet编码器的角色

沈如廷

于 2024-08-21 08:49:17 发布

阅读量285

点赞数 5

本文链接：https://blog.csdn.net/gitblog_00389/article/details/141376885

版权

🚀 Faster Diffusion：重新思考扩散模型中UNet编码器的角色

Faster-Diffusion项目地址:https://gitcode.com/gh_mirrors/fa/Faster-Diffusion

项目介绍

Faster Diffusion 是一个创新的扩散模型加速方案，通过重新思考UNet编码器在扩散模型中的角色，实现了无需额外训练的加速效果。该项目由Senmao Li、Taihang Hu等研究人员共同开发，已在arXiv上发布详细论文，并在GitHub上开源。

项目技术分析

Faster Diffusion的核心技术在于通过特征传播方案，重用UNet编码器在相邻时间步的内部特征，从而减少计算负载。此外，项目还引入了先验噪声注入方法，以增强生成图像的纹理细节。该方法不仅适用于标准文本到图像的任务，还能广泛应用于文本到视频、个性化生成、参考引导生成等多种任务。

项目及技术应用场景

Faster Diffusion的应用场景非常广泛，包括但不限于：

文本到图像生成：支持Stable Diffusion、DeepFloyd-IF等流行模型，实现高达1.8倍的加速。
文本到视频生成：与VideoDiffusion结合，实现1.5倍的加速。
个性化生成：如DreamBooth和Custom Diffusion，实现1.8倍的加速。
参考引导生成：如ControlNet，实现2.1倍的加速。

项目特点

训练免费加速：无需额外训练，即插即用。
广泛兼容性：支持多种扩散模型和采样策略，如DDIM、Dpm-solver++等。
高质量生成：通过FID、Clipscore等量化评估指标，证明生成图像质量与原模型相当。
易于集成：可以轻松集成到diffusers库中，便于开发者使用。

快速开始

# 创建环境
conda create -n fastersd python=3.9
conda activate fastersd
pip install -r requirements.txt

# 执行示例
python sd_demo.py  # 使用stable diffusion
python if_demo.py  # 使用deepfloyd if
python controlnet_demo.py  # 使用ControlNet(canny条件)

示例代码

以下是集成Faster Diffusion到Stable Diffusion v1.5的示例代码：

from diffusers import StableDiffusionPipeline
import torch
from utils_sd import register_normal_pipeline, register_faster_forward, register_parallel_pipeline, seed_everything  # 1.导入包

seed_everything(2023)
model_id = "runwayml/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

#------------------------------
# 2.启用并行。如果内存有限，替换为 `register_normal_pipeline(pipe)`
register_parallel_pipeline(pipe, mod='50ls') 
# 3.编码器传播
register_faster_forward(pipe.unet, mod='50ls') 
#------------------------------
prompt = "a cat wearing sunglasses"
image = pipe.call(prompt).images[0]  
    
image.save("cat.png")