英伟达与MIT合作推出 Fast-dLLM 框架，AI 推理速度提升 27.6 倍

近日，科技巨头英伟达联合麻省理工学院（MIT）与香港大学，发布了名为 Fast-dLLM 的新框架。这一创新的框架旨在显著提高扩散模型(Diffusion-based LLMs)的推理速度，最高可达27.6倍，为人工智能的应用提供了更为强大的技术支持。

扩散模型的挑战与机遇

扩散模型被视为传统自回归模型（Autoregressive Models）的有力竞争者。它采用双向注意力机制(Bidirectional Attention Mechanisms)，理论上能够通过同步生成多个词元(Multi-token Generation)来加速解码过程。然而，在实际应用中，扩散模型的推理速度常常不及自回归模型，主要由于每次生成步骤都需重新计算全部注意力状态，导致计算成本过高。此外，多词元同步解码时，词元间的依赖关系容易被破坏，从而影响生成质量。

Fast-dLLM 框架的创新

为了解决上述问题，英伟达团队研发了 Fast-dLLM 框架，引入了两项重要创新:块状近似 KV 缓存机制和置信度感知并行解码策略。

1. 块状近似 KV 缓存机制:该机制通过将序列划分为多个块（Blocks），预先计算并存储各块的激活值(KV Activations)，在后续解码中重复利用。这种方式显著减少了计算冗余，提升了效率。其 DualCache 版本进一步缓存前后缀词元(Prefix and Suffix Tokens)，利用相邻推理步骤的高度相似性来提升处理速度。

2. 置信度感知并行解码策略:该策略根据设定的阈值（Confidence Threshold），选择性地解码高置信度的词元，避免同步采样带来的依赖冲突，从而确保生成质量。
   

卓越的性能表现

Fast-dLLM 在多项基准测试中表现出色。在 GSM8K 数据集上，生成长度为1024词元时，其8-shot 配置实现了27.6倍的速度提升，准确率达76.0%;在 MATH 基准测试中，加速倍数为6.5倍，准确率约为39.3%;在 HumanEval 和 MBPP 测试中，分别实现了3.2倍和7.8倍的加速，准确率维持在54.3% 和基线水平附近。总体来看，Fast-dLLM 在提升速度的同时，准确率仅下降1-2个百分点，有效平衡了速度与质量。

通过解决推理效率和解码质量的问题，Fast-dLLM 使扩散模型在实际语言生成任务中具备了与自回归模型竞争的实力，为未来更广泛的应用奠定了基础。随着这一技术的推广，我们有望看到人工智能在更多领域的实际应用。

项目:https://nvlabs.github.io/Fast-dLLM/

Quick Start

git clone https://github.com/NVlabs/Fast-dLLM.git
cd Fast-dLLM
pip install -r requirements.txt

聊天案例

python llada/chat.py --gen_length 128 --steps 128 --block_size 32

参数描述：

• --gen_length：生成文本的最大长度
• --steps：采样步数
• --block_size：缓存块大小
• --use_cache：是否使用缓存
• --if_cache_position：是否使用双重缓存
• --threshold：置信度阈值