Efficient Spatially Sparse Inference for Conditional GANs and Diffusion Models
条件生成对抗网络和扩散模型的高效空间稀疏推理
Muyang Li , Ji Lin , Chenlin Meng , Stefano Ermon , Song Han , and Jun-Yan Zhu
代码:https://github.com/lmxyy/sige
摘要
在图像编辑过程中,现有的深度生成模型倾向于从头开始重新合成整个输出,包括未编辑的区域。这导致计算资源的大量浪费,特别是对于小幅度的编辑操作。在这项工作中,我们提出了一种通用技术Spatially Sparse Inference(SSI),它选择性地对编辑区域执行计算,并加速包括条件GAN和扩散模型在内的各种生成模型。我们的关键观察是用户倾向于逐渐编辑输入图像。这激发了我们缓存和重用原始图像的特征图。给定一张编辑过的图像,我们稀疏地将卷积滤波器应用于编辑区域,同时重用未编辑区域的缓存特征。基于我们的算法,我们进一步提出了Sparse Incremental Gener