一、前言
在应对业务访问量级提升的过程中,我们通过从单机单卡部署升级到单机多卡部署的方式,成功实现了VLLM模型的性能提升。在此过程中,我们遇到了一些问题和挑战,现在我将深入剖析这些经验教训,希望能够帮助大家快速上手部署可投入生产运行的环境。
本次部署采用了入门级的4090双卡 24GB显存的配置,为大家提供了一种可参考的方案。
二、术语
2.1. vLLM
vLLM是一个开源的大模型推理加速框架,通过PagedAttention高效地管理attention中缓存的张量,实现了比HuggingFace Transformers高14-24倍的吞吐量。
2.2. qwen2
Qwen是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。目前,大语言模型已升级至Qwen2版本。无论是语言模型还是多模态模型,均在大规模多语言和多模态数据上进行预训练,并通过高质量数据进行后期微调以贴近人类偏好。Qwen具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、作为AI Agent进行互动等多种能力。
最新版本Qwen2有以下特点:
-
5种模型