SD3-Turbo来了：只需要4步就能超过MidjourneyV6！

转载自：机器学习算法工程师

StabilityAI刚刚发布了SD3-Turbo的论文：Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation。SD3-Turbo采用了一种新的蒸馏方法：Latent Adversarial Diffusion Distillation (LADD)，与基于像素的ADD（Adversarial Deformation-Driven Diffusion）相比，LADD利用了预训练latent diffusion model的生成特征。这种方法简化了训练过程并提高了性能，使得能够合成高分辨率的多宽高比图像。将LADD应用于Stable Diffusion 3（8B），得到了SD3-Turbo，这是一个快速的模型，仅使用四步无引导采样就能匹配最先进的文本到图像生成器的性能。此外，这里还系统地研究了它的scaling能力，并展示了LADD在各种应用中的有效性，如图像编辑和图像inpainting。

LADD架构图如下，ADD（上两行）在像素空间计算了一个蒸馏损失，并在DINOv2特征之上计算了一个对抗性损失，因此需要从潜在空间到像素空间进行较高成本的解码。而在LADD（下一行）中，使用教师模型进行合成数据生成，并使用其特征进行对抗性损失计算，这可以完全在潜在空间中进行训练。

LADD蒸馏方法有很好的scaling能力：

基于LADD的SD3-Turbo超过之前的LCM和SDXL-Lighting：

SD3-Turbo只需要4步，在生成效果上可以匹敌SOTA的模型，如Midjourney V6 和DALL-E 3。

此外，LADD还可以用于图像编辑：

以及图像inpainting：