FLASHDECODING++: FASTER LARGE LANGUAGE MODEL INFERENCE ON GPUS

最新推荐文章于 2024-10-04 22:36:54 发布

UnknownBody

最新推荐文章于 2024-10-04 22:36:54 发布

阅读量546

点赞数 13

文章标签：语言模型人工智能 python

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/135499235

版权

LLM 日更专栏收录该内容

516 篇文章 3 订阅

已下架不支持订阅

FlashDecoding++是一个针对GPU的快速大型语言模型推理引擎，解决了同步softmax更新、平面GEMM计算利用不足和静态数据流性能损失的问题。通过异步softmax、双缓冲GEMM优化和硬件资源自适应的数据流，它在NVIDIA和AMD GPU上相对于Hugging Face实现实现了4.86倍和3.93倍的加速，平均比现有最佳推理引擎快1.37倍。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《FLASHDECODING++: FASTER LARGE LANGUAGE MODEL
INFERENCE ON GPUS》的翻译。

摘要

随着大型语言模型（LLM）在各个领域变得越来越重要，LLM推理的性能对大规模LLM应用至关重要。然而，在加速LLM推理方面，以下挑战仍未解决：（1）同步部分softmax更新。softmax操作需要在每个部分softmax结果之间进行同步更新操作，导致LLM中注意力计算的开销为~20%。（2）平面GEMM的计算利用不足。LLM推理中执行GEMM的矩阵形状是平坦的，导致计算利用不足，并且在以前的设计（例如，cuBLAS、CUTRASS等）中填充零后性能损失>50%。（3）静态数据流导致的性能损失。LLM中的内核性能取决于不同的输入数据特征、硬件配置等。单个静态数据流可能导致LLM推理中不同形状的GEMM的性能损失50.25%。
我们介绍了FlashDecoding++，一个支持主流LLM和硬件后端的快速LLM推理引擎。为了应对上述挑战，FlashDecoding++创造性地提出：（1）具有统一最大值的异步softmax。FlashDecoding++为不同的部分softmax计算

了解本专栏