NIPS 2024 | 学习缓存：通过层缓存加速扩散Transformer

论文信息

题目：Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching

学习缓存：通过层缓存加速扩散Transformer

作者：Xinyin Ma, Gongfan Fang, Michael Bi Mi, Xinchao Wang

源码：https://github.com/horseee/learning-to-cache

论文创新点

1. 动态缓存机制：作者提出了一种名为**Learning-to-Cache (L2C)**的新方案，通过动态方式学习在扩散Transformer中进行缓存。该方法利用Transformer层的一致结构和扩散的顺序特性，探索时间步之间的冗余计算，将每个层视为缓存的基本单元。
2. 可微优化目标：为了解决在深度模型中识别要