2倍吞吐量提升，新大模型推理框架开源

程序猿李巡天

于 2024-10-08 20:46:26 发布

阅读量547

点赞数 14

文章标签： llama 人工智能计算机视觉大数据 milvus

本文链接：https://blog.csdn.net/m0_59235945/article/details/142768998

版权

NanoFlow 是一个面向吞吐量的LLMs高性能服务框架。凭借设备内并行、异步 CPU 调度和 SSD 卸载等关键技术，NanoFlow 始终能够提供比 vLLM、Deepspeed-FastGen 和 TensorRT LLM更高的吞吐量。对 8xA100 80GB DGX 节点上的 Llama2-70B、Qwen2-72B、DeepSeek-67B、Mixtral-8x7B 和 LLaMA3-8B 进行的综合评估表明，与 TensorRT- LLM相比，NanoFlow 实现了高达 1.91 倍的吞吐量提升。

现有框架的传统管道设计由于操作的顺序执行而未充分利用硬件资源。因此，NanoFlow 提出了设备内并行性（如下图所示），它使用nano-batches来调度计算、内存、网络绑定操作以同时执行。这种重叠将计算密集型操作留在关键路径上，并提高了资源利用率。

在 GPU 利用率很高的情况下，CPU 的开销（包括 KV 缓存管理、批量形成和退休请求选择）占据了推理时间的很大一部分 (%)。因此，NanoFlow采用如下图所示的异步控制流程。在任何迭代中，NanoFlow 都会做出批处理决策，并在当前迭代结束之前为下一次迭代分配 KV 缓存条目。 NanoFlow 直接启动迭代，而不检测迭代中生成的序列结束（EOS）token，并在迭代时退出已完成的请求。

为了避免重新计算并重用多轮对话中的 KV 缓存，NanoFlow 急切地将已完成请求的 KV 缓存卸载到 SSD。在一次迭代中，NanoFlow 选择已退出请求的 KV 缓存，并通过逐层方式将它们复制到主机，与动态推理操作并行。我们的计算表明，服务LLaMA2-70B的卸载带宽只需要5GB/s，而单个SSD可以达到3GB/s。

实现了上面提到的技术后，现在开源了基于 Cpp 的后端的 NanoFlow 和基于 Python 的演示前端，大约 4K 行。 NanoFlow 集成了最先进的内核库，包括用于 GEMM 的CUTLASS 、用于 Attention 的FlashInfer和用于 Network 的MSCCL++ 。该代码库还包含环境设置和实验重现所需的脚本。项目地址：https://github.com/efeslab/Nanoflow

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述