Stable Diffusion - 采样器 DPM++ 3M SDE Karras 与 SDXL Refiner 测试

ManonLegrand

已于 2023-09-18 15:29:24 修改

阅读量7.1k

点赞数 1

分类专栏： Stable Diffusion 文章标签： stable diffusion DPM++ Refiner SDXL

于 2023-09-18 15:28:35 首次发布

本文链接：https://blog.csdn.net/caroline_wendy/article/details/132978866

版权

Stable Diffusion 专栏收录该内容

47 篇文章

订阅专栏

本文介绍了一种新的高阶求解器DPM-Solver++，专为扩散概率模型的引导采样设计，通过数据预测和阈值方法提升稳定性，能在低步数下生成高质量图像。对比DPM++3MSDEKarras，DPM-Solver++在引导采样上表现更优。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/132978866

DPM

Paper: DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models

扩散概率模型（DPMs）在高分辨率图像合成方面，取得了令人印象深刻的成功，尤其是在最近的大规模文本到图像生成应用中。提高 DPMs 样本质量的一个重要技术是引导采样，通常需要一个较大的引导尺度来获得最佳的样本质量。引导采样常用的快速采样器是 DDIM，即一阶扩散 ODE 求解器，通常需要 100 到 250 步才能生成高质量的样本。
尽管最近的工作提出了专用的高阶求解器，并且在无引导采样方面实现了进一步的加速，但是对于引导采样的有效性还没有经过充分的测试。在这项工作中，证明之前的高阶快速采样器存在不稳定性问题，当引导尺度变大时，甚至比 DDIM 还要慢。
为了进一步加速引导采样，本文提出了 DPM-Solver++ ，用于 DPMs 引导采样的高阶求解器。DPM-Solver++ 使用数据预测模型来求解扩散 ODE，并且采用阈值方法来保证解与训练数据分布相匹配。因而，进一步提出多步变体的 DPM-Solver++，通过减小有效步长来解决不稳定性问题。实验表明，DPM-Solver++ 可以在只有15到20步的情况下，为像素空间和潜在空间的DPMs生成高质量的引导采样。

采样器 DPM++ 3M SDE Karras 是一种用于稳定扩散（Stable Diffusion）的采样方法，基于 DPM++ 2M Karras 的改进版本，具有以下特点：

DPM++ 是一种动态采样器，可以根据每一步的梯度信息自适应地调整采样步长和方向。
3M 表示采样器使用了三种不同的扩散模式（Diffusion Modes），分别是标准扩散（Standard Diffusion）、反向扩散（Reverse Diffusion）和交替扩散（Alternating Diffusion）。
SDE 表示采样器使用了随机微分方程（Stochastic Differential Equation）来模拟扩散过程。
Karras 表示采样器使用 Karras 等人提出的一种高效的随机数生成方法，可以减少计算量和内存消耗。

采样器 DPM++ 3M SDE Karras 的优点是可以在较低的步数和CFG值下生成高质量的图像，并且可以适应不同的模型和VAE。缺点是可能会出现一些噪声和伪影，并且需要较高的显卡性能。

测试参数：

模型：DreamShaper_XL1.0_alpha2.safetensors
Sampling steps：30
CFG：7

测试效果（左侧是 DPM++ 2M SDE Karras，右侧是 DPM++ 3M SDE Karras）：
Sampler

整体差别较小，建议使用 DPM++ 2M SDE Karras 即可。

SDXL 的 Refiner 的作用就是，使用精修模型（Refiner）对于基础模型（Base）的输出进行细化和优化，从而生成更接近真实的图像，与基础模型（Base）串联使用，也可以单独用于图像到图像的转换。

注意：对于现有的混合模型，如 DreamShaper 等，已包括精修，不需要额外使用 Refiner 操作，同时，两者的细节没有差别。

测试效果（左侧是未使用 Refiner，右侧是使用 Refiner）：
SDXL
DreamShaper 使用 Refiner 导致部分细节颜色异常，注意右侧图像（Refiner），即：

Stable Diffusion WebUI 已支持 Refiner 功能，不需要额外插件，同时配置 切换时机，即：

Refiner

测试：

cinematic photo full body shot,(head-to-toe shot:1.2),1girl,a beatiful woman in a dress and jacket standing,(office lady high heels),
pantyhose,black leggings,outdoors,
people in the center,soft light,natural and comfortable pose,face to camera,
<lora:neg4all_xl_v6:1>,<lora:pantyhose_widget_xl_v10:1.2>, . 35mm photograph, film, bokeh, professional, 4k, highly detailed
Negative prompt: nsfw,breast,(ng_deepnegative_v1_75t:1.2),badhandv4, drawing, painting, crayon, sketch, graphite, impressionist, noisy, blurry, soft, deformed, ugly
Steps: 30, Sampler: DPM++ 3M SDE Exponential, CFG scale: 7, Seed: 3098710835, Size: 768x1152, Model hash: 0f1b80cfe8, Model: DreamShaper_XL1.0_alpha2, Denoising strength: 0.3, Clip skip: 2, ADetailer model: face_yolov8n.pt, ADetailer confidence: 0.3, ADetailer dilate/erode: 4, ADetailer mask blur: 4, ADetailer denoising strength: 0.4, ADetailer inpaint only masked: True, ADetailer inpaint padding: 32, ADetailer version: 23.9.2, Hires upscale: 2, Hires steps: 10, Hires upscaler: 4x-UltraSharp, Lora hashes: “neg4all_xl_v6: 9a735be26f5e, pantyhose_widget_xl_v10: 90b94c2a1974”, Version: v1.6.0

参考：Stable Diffusion - SDXL 模型测试与全身图像参数配置