轻松实现 vLLM Chat：用 LangChain 替代 OpenAI API

引言

在现代应用中，使用语言模型进行自动化对话生成已经成为一个重要趋势。vLLM 作为开源的语言模型实现，可以部署成一个模拟 OpenAI API 协议的服务器，方便成为应用中的替代方案。本篇文章将介绍如何使用 LangChain 的 langchain-openai 包来轻松实现 vLLM Chat。

主要内容

vLLM 概述

vLLM 可以作为一个服务部署，模拟 OpenAI API 协议，从而成为 OpenAI API 的替代方案。通过这种方式，开发者可以利用现有的 API 调用格式，无需改变应用的其他部分。

集成细节

要访问 vLLM 模型，首先需要安装 langchain-openai 包，并了解 ChatOpenAI 类的使用方法。模型的特定功能取决于所托管的模型，包括工具调用、多模态输入支持等。

设置

要使用 vLLM 模型，需要：

1. 安装 langchain-openai 包：

   %pip install -qU langchain-openai
   

2. 通过以下代码实例化模型对象：

   from langchain_core.messages import HumanMessage, SystemMessage
   from langchain_openai import ChatOpenAI
   
   inference_server_url