使用Prediction Guard与Langchain构建智能文本生成器

llzwxh888

于 2024-10-06 19:36:30 发布

阅读量85

点赞数 3

文章标签： langchain python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142730843

版权

引言

在自然语言处理（NLP）领域，通过API接口调用强大的语言模型进行文本生成、分类和其他任务已经成为常态。然而，随着开放性模型的出现，开发者如何有效利用这些模型同时保证输出的准确性和可控性？本文将介绍如何使用Prediction Guard结合Langchain构建智能文本生成器，以便实现结构化和可控的输出。

主要内容

什么是Prediction Guard？

Prediction Guard是一种API服务，允许开发者使用开放访问的语言模型，并提供丰富的功能来控制输出类型和结构。它非常适合用来确保生成的文本符合特定的需求。

为什么使用Langchain？

Langchain是一个Python库，专注于语言模型的链式调用。通过它，可以将文本生成过程模块化，使得复杂任务更易于管理和构建。

基本设置

首先，你需要安装相关的Python包：

%pip install --upgrade --quiet predictionguard langchain

然后，设置API凭证：

import os

os.environ["OPENAI_API_KEY"] = "<your OpenAI api key>"  # 可选
os.environ["PREDICTIONGUARD_TOKEN"] = "<your Prediction Guard access token>"

代码示例

下面的代码演示了如何使用Prediction Guard控制输出类型，并如何使用Langchain进行链式调用：

from langchain.chains import LLMChain
from langchain_community.llms import PredictionGuard
from langchain_core.prompts import PromptTemplate

# 使用API代理服务提高访问稳定性
pgllm = PredictionGuard(
    model="OpenAI-text-davinci-003",
    output={
        "type": "categorical",
        "categories": ["product announcement", "apology", "relational"],
    },
)

template = """Respond to the following query based on the context.

Context: EVERY comment, DM + email suggestion has led us to this EXCITING announcement! 🎉 We have officially added TWO new candle subscription box options! 📦
Exclusive Candle Box - $80 
Monthly Candle Box - $45 (NEW!)
Scent of The Month Box - $28 (NEW!)
Head to stories to get ALLL the deets on each box! 👆 BONUS: Save 50% on your first box with code 50OFF! 🎉

Query: {query}

Result: """
prompt = PromptTemplate.from_template(template)

response = pgllm(prompt.format(query="What kind of post is this?"))
print(response)