Diffusion 加速系列之一| T-Gate：Cross-Attention Makes Inference Cumbersome in Text-to-Image Diffusion Model

0. 资源链接

• 论文: https://arxiv.org/pdf/2404.02747v1

• 代码: https://github.com/HaozheLiu-ST/T-GATE

1. 背景动机

现有的 diffusion model 推理存在以下问题：

• 一般 diffusion model 在推理过程需要经过多半去噪流程，其中通常为50~1000 步（当然现在的 LCM model 普遍能减少去噪步数），这样通常会导致生成一张图片耗时过长。

• 在 diffusion model 每一步的推理中，都注入了 condition 信息，但这是否在每一步是必须的仍然值得探索。

不过近年不少工作在深入研究 diffusion model 加速，取得不少的成果：

• 一类是 fast sampler 方法如 PLMS，DDIM，DPM solver 等方法可以以更少的采样步数来加速模型推理。

• 一类是结构优化：通过设计更高效的结构或者是传统的剪枝方案来提高模型的推理速度。

• 一类是利用去噪步间的相似 feature 来减少冗余计算如 DeepCache，提高模型推理速度。

2. 内容提要

• 分析 cross-attention 在整个推理所有的去噪时间步的影响，认为 cross-attention 在去噪多步去噪过程中会收敛，在后面的去噪时间步中 cross-attention 的 map 图和前面时间步的差别很小，所以这些计算是冗余的。