CVPR2024 DeepCache：diffusion 无需训练即可加速方法

一、背景介绍

• 论文链接：https://arxiv.org/abs/2312.00858

• 代码链接：https://github.com/horseee/DeepCache

• DeepCache 是新加坡国立大学一个 diffusion 加速的方法，该方法不同于以往剪枝算法，类似于路由的路径剪枝，无需通过 retrain 恢复精度，这样极大保留 diffusion 的泛化性。

• 该方法在 stable diffusion 取得 2.3x 加速且精度不掉点，在 LDM 取得 7.0x 加速不掉点。

二、方法介绍

• Diffusion 模型加速原理：diffusion model 除一致性 model 外普遍需要多步采样（少则50步，多则1000步）来完成图片生成；作者发现其中相邻步对应的 feature 存在高度的相似性，从而萌生当前步的 feature 是否能部分服用前一步的 feature 的想法，这样就能减少计算量，完成模型加速。

• DeepCache 架构：通过复用前一步的 feature 可以节省当前步的计算量