[轻松搭建你的vLLM Chat服务，替代OpenAI API的理想选择]

最新推荐文章于 2025-03-30 09:54:30 发布

wedrftghgfdsa

最新推荐文章于 2025-03-30 09:54:30 发布

阅读量451

点赞数 4

文章标签： python

本文链接：https://blog.csdn.net/wedrftghgfdsa/article/details/144634207

版权

引言

在当今人工智能应用中，很多开发者依赖OpenAI API以获取自然语言处理的强大能力。但是，由于某些地区的网络限制或商业考虑，使用替代方案成为了很多开发者的选择。vLLM是一个可以部署成服务器的解决方案，它能够模拟OpenAI API的协议，从而成为应用程序的替代选择。在这篇文章中，我们将指导你如何通过使用langchain-openai包来开始使用vLLM聊天模型。

主要内容

vLLM简介

vLLM可以作为一种替代方案，帮助开发者在本地或其他环境中无缝替代OpenAI API。通过vLLM，开发者可以继续使用相同的API调用格式，从而无需对现有应用程序进行大的改动。

安装与设置

要访问vLLM模型，需要安装langchain-openai集成包。这提供了一套接口，使得vLLM模型可以通过LangChain框架进行调用。

%pip install -qU langchain-openai

模型初始化与调用

首先，我们需要实例化一个模型对象并生成聊天补全。以下是完整的代码示例：

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

# 使用API代理服务提高访问稳定性
inference_server_url = "http://localhost:8000/v1"

llm = ChatOpenAI(
    model="mosaicml/mpt-7b",
    openai_api_key="EMPTY",
    openai_api_base=inference_server_url,
    max_tokens=5,
    temperature=0,
)

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to Italian."
    ),
    HumanMessage(
        content="Translate the following sentence from English to Italian: I love programming."
    ),
]

response = llm.invoke(messages)
print(response)

链式调用

我们还可以将模型与提示模板结合使用，实现更为复杂的操作。

from langchain_core.prompts.chat import ChatPromptTemplate

prompt = ChatPromptTemplate(
    [
        (
            "system",
            "You are a helpful assistant that translates {input_language} to {output_language}.",
        ),
        ("human", "{input}"),
    ]
)

chain = prompt | llm
result = chain.invoke(
    {
        "input_language": "English",
        "output_language": "German",
        "input": "I love programming.",
    }
)

print(result)