探索LangChain中的Prediction Guard：入门指南与实例解析

akhfuiigabv

于 2024-10-01 15:54:52 发布

阅读量92

点赞数 3

文章标签： langchain python

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142671608

版权

# 探索LangChain中的Prediction Guard：入门指南与实例解析

## 引言

在现代人工智能应用中，保护和控制生成模型的输出极为重要。Prediction Guard作为一项强大的工具，允许开发者在LangChain生态系统中实现对LLM输出的精细控制。本篇文章将介绍如何在LangChain中使用Prediction Guard，涵盖安装、设置及具体使用方法。

## 主要内容

### 安装与设置

要开始使用Prediction Guard，首先需要安装Python SDK：

```bash
pip install predictionguard

接下来，获取一个Prediction Guard访问令牌，并将其设置为环境变量：

export PREDICTIONGUARD_TOKEN="<your Prediction Guard access token>"

LLM Wrapper的使用

Prediction Guard提供了一个LLM包装器，可以通过以下方式访问：

from langchain_community.llms import PredictionGuard

你可以在初始化时为模型提供名字，例如：

pgllm = PredictionGuard(model="MPT-7B-Instruct")

此外，可以直接提供访问令牌：

pgllm = PredictionGuard(model="MPT-7B-Instruct", token="<your access token>")

还可以提供“output”参数以控制LLM的输出结构：

pgllm = PredictionGuard(model="MPT-7B-Instruct", output={"type": "boolean"})

代码示例

基本示例

以下是Prediction Guard包装器的基本使用示例：

import os
from langchain_community.llms import PredictionGuard
from langchain_core.prompts import PromptTemplate

# 使用API代理服务提高访问稳定性
os.environ["PREDICTIONGUARD_TOKEN"] = "<your Prediction Guard access token>"

template = """Respond to the following query based on the context.

Context: ...
Query: {query}
Result: """
prompt = PromptTemplate.from_template(template)

pgllm = PredictionGuard(model="MPT-7B-Instruct", 
                        output={
                            "type": "categorical",
                            "categories": [
                                "product announcement", 
                                "apology", 
                                "relational"
                            ]
                        })
pgllm(prompt.format(query="What kind of post is this?"))

LLM链

如何使用Prediction Guard与LangChain结合进行LLM链的设置：

import os
from langchain_core.prompts import PromptTemplate
from langchain.chains import LLMChain
from langchain_community.llms import PredictionGuard

os.environ["PREDICTIONGUARD_TOKEN"] = "<your Prediction Guard access token>"

pgllm = PredictionGuard(model="OpenAI-gpt-3.5-turbo-instruct")

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
llm_chain = LLMChain(prompt=prompt, llm=pgllm, verbose=True)

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.predict(question=question)