计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-10

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-10

1. Characterizing and Efficiently Accelerating Multimodal Generation Model Inference

Y Lee, A Sun, B Hosmer, B Acun, C Balioglu, C Wang… - arXiv preprint arXiv …, 2024
https://arxiv.org/pdf/2410.00215?

特征化与高效加速多模态生成模型推理

摘要

本文针对多模态生成模型在实际系统上的推理性能进行了深入分析，识别了系统设计和优化的关键机会。多模态生成模型在理解并响应多种模态方面具有革命性的能力，但这些高级功能通常需要显著的系统资源。为了在全球范围内将生成性AI能力扩展到数十亿用户，推理过程必须快速且高效。文章通过特征化一系列新兴的多模态生成模型，指出了关键的系统设计和优化机会，并展示了从应用到系统软件和硬件的最新优化方法，可将推理性能提高3.88倍。

创新点

1. 系统性能特征化：对多模态生成模型进行了深入的系统性能分析，包括计算需求、内存带宽需求和输入分布的变化。
2. 优化方法：展示了包括torch.compile、CUDA Graph、Scaled Dot Product Attention (SDPA) / Flash Attention和量化技术在内的最新优化方法，这些方法可以显著提高推理性能。
3. 算法优化：通过LayerSkip等算法优化进一步提高推理性能效率。

算法模型

• 多模态生成模型：涵盖了语言模型（如Code Llama）、语音翻译（如Seamless）、文本和图像生成（如Chameleon）以及生成式深度学习推荐系统（如gDLRM）。
• 优化技术：
  • SDPA/Flash Attention：用于加速Transformer模型中的关键性能瓶颈。
  • torch.compile和CUDA Graph：用于优化内存效率和提高GPU利用率。
  • 量化：提高计算密度和内存带宽利用率。
  • LayerSkip：一种自推测解码方法，用于加速生成过程。

实验效果

• 性能提升：通过启用最新的优化技术，跨关键生成AI任务的推理性能平均提高了3.88倍。
• 数据与结论：
  • 不同模型的性能差异：例如，Chameleon的文本到图像任务比HSTU需要更多的计算资源。
  • 优化技术的影响：SDPA和torch.compile结合使用可以显著提高性能，尤其是在小批量设置中。
  • 实时应用潜力：对于Seamless模型，优化后的端到端推理速度提高了2.7倍，这对于实时语音翻译任务至关重要。
  <