Stable Diffusion——SDXL 1.0原理解析

1. SDXL 1.0 简介

SDXL 1.0是Stability AI推出的新基础模型，作为Stable Diffusion的大幅改进版本，它是一个用于文本到图像合成的潜在扩散模型（LDM）。作为Stable Diffusion的最新进化，它正在超越其前身，并与MidjourneySOTA图像生成器相媲美的图像。

这些改进源于一系列有意识的设计选择，包括一个3倍大的UNet骨干网络，更强大的预训练文本编码器，以及引入了一个单独的基于扩散的精炼模型。精炼模型使用SDEdit首次提出的后处理图像到图像扩散技术，提高了样本的视觉保真度。这里将使用带有和不带有此精炼模型的SDXL，以更好地理解其在流程中的作用。并比较这些结果与Stable Diffusion 2.0的输出，以获得SDXL引入的改进的更广泛的画面。

但这些改进确实有代价；SDXL 1.0涉及一个35亿参数基础模型（base）和一个66亿参数的精炼模型(refiner)，使其成为今天最大的开放图像生成器之一。这种增加主要是由于更多的注意力模块和更大的交叉注意力上下文，因为SDXL使用了第二个文本编码器。

2. SDXL 1.0 展望

SDXL 1.0作为一款先进的图像生成AI模型，承诺将在多个领域推动生成性AI技术的发展和应用。这包括但不限于3D