解锁PromptLayer与LangChain的潜力：从零开始的实现指南-CSDN博客

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142290037

引言

在现代AI开发中，Prompt工程师的重要性日益凸显。PromptLayer平台专注于此领域，同时提供LLM可视化工具，帮助开发者更好地管理请求、版本提示和使用跟踪。本文旨在帮助你通过PromptLayerCallbackHandler无缝整合PromptLayer和LangChain，加强你的AI模型开发流程。

主要内容

安装和设置

首先，确保你安装了langchain-community和promptlayer包：

%pip install --upgrade --quiet langchain-community promptlayer --upgrade

获取API凭证

在promptlayer.com创建账号并获取API密钥。然后，将其设置为环境变量PROMPTLAYER_API_KEY。

使用PromptLayerCallbackHandler

集成PromptLayer非常简单，PromptLayerCallbackHandler接收两个可选参数：

pl_tags: 一个可选字符串列表，用于在PromptLayer上标记。
pl_id_callback: 一个可选函数，接收promptlayer_request_id参数。

简单的OpenAI示例

在这个示例中，我们将PromptLayerCallbackHandler与ChatOpenAI结合使用，并添加一个名为chatopenai的PromptLayer标签。

import promptlayer  # 不要忘记引入 🍰
from langchain_community.callbacks.promptlayer_callback import (
    PromptLayerCallbackHandler,
)
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

chat_llm = ChatOpenAI(
    temperature=0,
    callbacks=[PromptLayerCallbackHandler(pl_tags=["chatopenai"])],
)
llm_results = chat_llm.invoke(
    [
        HumanMessage(content="What comes after 1,2,3 ?"),
        HumanMessage(content="Tell me another joke?"),
    ]
)
print(llm_results)

GPT4All示例

使用GPT4All实现类似功能：

from langchain_community.llms import GPT4All

model = GPT4All(model="./models/gpt4all-model.bin", n_ctx=512, n_threads=8)
callbacks = [PromptLayerCallbackHandler(pl_tags=["langchain", "gpt4all"])]

response = model.invoke(
    "Once upon a time, ",
    config={"callbacks": callbacks},
)

完整功能示例

在本示例中，我们展示如何使用PromptLayer的更多功能。你可以视觉化创建、版本化和跟踪提示模板。

from langchain_openai import OpenAI

def pl_id_callback(promptlayer_request_id):
    print("prompt layer id ", promptlayer_request_id)
    promptlayer.track.score(
        request_id=promptlayer_request_id, score=100
    )
    promptlayer.track.metadata(
        request_id=promptlayer_request_id, metadata={"foo": "bar"}
    )
    promptlayer.track.prompt(
        request_id=promptlayer_request_id,
        prompt_name="example",
        prompt_input_variables={"product": "toasters"},
        version=1,
    )

openai_llm = OpenAI(
    model_name="gpt-3.5-turbo-instruct",
    callbacks=[PromptLayerCallbackHandler(pl_id_callback=pl_id_callback)],
)

example_prompt = promptlayer.prompts.get("example", version=1, langchain=True)
openai_llm.invoke(example_prompt.format(product="toasters"))