[vLLM：加速您的大规模语言模型推理与服务]

最新推荐文章于 2025-01-24 10:46:41 发布

tt_jishu

最新推荐文章于 2025-01-24 10:46:41 发布

阅读量500

点赞数 6

文章标签：语言模型人工智能自然语言处理 python

本文链接：https://blog.csdn.net/tt_jishu/article/details/144257822

版权

vLLM：加速您的大规模语言模型推理与服务

在大规模语言模型（LLM）迅速发展的今天，如何高效地进行推理和服务是一个重要的挑战。vLLM是一个快速且易于使用的库，专门为LLM推理和服务而设计，为用户提供了一流的服务吞吐量和内存管理等多项优势。在本文中，我们将探讨如何使用vLLM与Langchain进行LLM的推理和服务。

主要内容

vLLM的核心功能

先进的服务吞吐量：vLLM利用优化的CUDA内核和连续批处理技术，提高了模型部署的效率。
高效的内存管理：通过利用PagedAttention，它能够更好地管理注意力的键和值内存。
分布式推理支持：vLLM支持张量并行的分布式推理，使得在多GPU上的推理变得可能。

使用Langchain和vLLM

要使用vLLM，首先确保安装了vllm的Python包。您可以通过以下代码安装：

%pip install --upgrade --quiet vllm -q

接下来，我们演示如何通过Langchain库来使用vLLM进行简单的文本生成任务。

from langchain_community.llms import VLLM

llm = VLLM(
    model="mosaicml/mpt-7b",
    trust_remote_code=True,  # mandatory for hf models
    max_new_tokens=128,
    top_k=10,
    top_p=0.95,
    temperature=0.8,
)

# 使用API代理服务提高访问稳定性
# 示例调用
print(llm.invoke("What is the capital of France?"))

# 输出: The capital of France is Paris.

分布式推理和量化支持

vLLM不仅支持单GPU推理，还支持多GPU的张量并行推理。通过调整tensor_parallel_size参数，即可在多个GPU上运行推理任务。

llm = VLLM(
    model="mosaicml/mpt-30b",
    tensor_parallel_size=4,  # 在4个GPU上进行推理
    trust_remote_code=True,
)

# 调用示例
llm.invoke("What is the future of AI?")

此外，vLLM支持AWQ量化，这允许在较低的精度下进行推理，从而节省计算资源并加快推理速度。

llm_q = VLLM(
    model="TheBloke/Llama-2-7b-Chat-AWQ",
    trust_remote_code=True,
    max_new_tokens=512,
    vllm_kwargs={"quantization": "awq"},
)

代码示例

以下是一个结合Langchain的完整示例来实现一个问答系统：

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "Who was the US president in the year the first Pokemon game was released?"
print(llm_chain.invoke(question))

# 输出:
# 1. The first Pokemon game was released in 1996.
# 2. The president was Bill Clinton.
# 3. Clinton was president from 1993 to 2001.
# 4. The answer is Clinton.