TPAMI 2024|条件生成对抗网络和扩散模型的高效空间稀疏推理

Efficient Spatially Sparse Inference for Conditional GANs and Diffusion Models

条件生成对抗网络和扩散模型的高效空间稀疏推理

Muyang Li , Ji Lin , Chenlin Meng , Stefano Ermon , Song Han , and Jun-Yan Zhu
代码：https://github.com/lmxyy/sige

---

摘要

在图像编辑过程中，现有的深度生成模型倾向于从头开始重新合成整个输出，包括未编辑的区域。这导致计算资源的大量浪费，特别是对于小幅度的编辑操作。在这项工作中，我们提出了一种通用技术Spatially Sparse Inference（SSI），它选择性地对编辑区域执行计算，并加速包括条件GAN和扩散模型在内的各种生成模型。我们的关键观察是用户倾向于逐渐编辑输入图像。这激发了我们缓存和重用原始图像的特征图。给定一张编辑过的图像，我们稀疏地将卷积滤波器应用于编辑区域，同时重用未编辑区域的缓存特征。基于我们的算法，我们进一步提出了Sparse Incremental Gener