一文教会你使用 LangServe 构建大模型服务

最新推荐文章于 2025-03-24 15:28:07 发布

coder_风逝

最新推荐文章于 2025-03-24 15:28:07 发布

阅读量1.4k

点赞数 8

分类专栏： AI大模型文章标签： python ai langchain

本文链接：https://blog.csdn.net/fengshi_fengshi/article/details/144492142

版权

AI大模型专栏收录该内容

41 篇文章

订阅专栏

LangServe 是一个用于构建和部署基于自然语言处理（NLP）模型的应用程序的框架。它使得开发者可以轻松地将训练好的模型集成到 Web 服务中，提供 API 接口，以便于其他应用程序进行调用。它具有以下优点：

易于调试：它提供了一个`Playground`，允许开发者实时地与他们的智能机器人互动，测试不同的输入并查看即时输出，这有助于快速迭代和调试；
支持并发：它支持并发请求，这意味着多个用户可以同时使用部署的服务而不会出现性能问题；
安全性：提供了一些安全性措施，如请求追踪，确保数据传输的安全；
支持流式传输和异步调用：支持流式传输和异步调用，这对于需要实时反馈或处理大量数据的应用程序来说非常有用；

本文是一个 LangServe 的基本教程，以阿里云的通义千问大模型作为语义模型，其它模型类似，帮助您快速上手。

LangChain基础文章：《一文教会你用 LangChain 快速构建大模型应用》

1、安装

我们使用国内的清华源来安装 langserve 包，运行以下命令即可完成安装

pip install "langserve[all]" -U -i https://pypi.tuna.tsinghua.edu.cn/simple/

2、创建链

创建一个问答链，它提供简单地翻译功能，具体的提示词模版、模型创建、输出解析器、创建链等功能，已经在上一篇文章中详细介绍，这里就不在赘述。


from fastapi import FastAPI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_community.llms import Tongyi
from langserve import add_routes
import os

os.environ["DASHSCOPE_API_KEY"] = "你的API_KEY"

# 1. 创建提示词模版
system_template = "Translate the following into {language}:"
prompt_template = ChatPromptTemplate.from_messages([
    ('system', system_template),
    ('user', '{text}')
])

# 2. 创建模型
model = Tongyi()

# 3. 创建解析器
parser = StrOutputParser()

# 4. 创建链
chain = prompt_template | model | parser

至此，一个简单的问答链已经创建好了。运行它需要两个参数：`language`、`text`。

3、使用 langServe 将链包装为 API

我们通过 FastAPI 将 langServer 链包装为 API 应用，通过 langserve.add_routes 定义服务链的路由，如下所示

# 5. App 定义
app = FastAPI(
  title="LangChain Server",
  version="1.0",
  description="使用 LangChain 的 Runnable 接口的简单 API 服务器",
)

# 6. 添加链路由
add_routes(
    app,
    chain,
    path="/chain",
)

if __name__ == "__main__":
    import uvicorn

    uvicorn.run(app, host="127.0.0.1", port=5100)