【CVPR2024 】Mamba 再夺一城：DiffuSSM来了！没有注意力的扩散模型

基本信息:

Title: Diffusion Models Without Attention (无注意力扩散模型)
Authors: Jing Nathan Yan, Jiatao Gu, Alexander M. Rush
Affiliation: Cornell University (康奈尔大学)
Keywords: Diffusion Models, Image Generation, State Space Model, FLOP-efficient architectures
URLs: Paper, [GitHub: None]

论文简要

最近的高保真图像生成的高级进展中，Denoising Diffusion Probabilistic Models (DDPMs) 已经成为一个关键角色。然而，在较高分辨率下应用它们，带来了重大的计算挑战。目前的方法，如 patchifying，加速了 UNet 和 Transformer 架构的过程，但代价是减少了表示能力。为了解决这个问题，我们引入了扩散状态空间模型（DiffuSSM），这是一种用更可扩展的状态空间模型骨架替代注意力机制的架构。这种方法有效地处理了较高分辨率，而无需求助于全局压缩，从而在整个扩散过程中保留了详细的图像表示。我们在扩散训练中关注 FLOP 高效的架构，这是一个重要的进步。在 ImageNet 和 LSUN 数据集上的两项分辨率全面的评估表明ÿ