探索Trubrics：LLM用户分析平台的设置与使用指南

stjklkjhgffxw

于 2024-10-08 16:18:40 发布

阅读量72

点赞数 2

文章标签： microsoft python

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142762735

版权

引言

随着大模型（LLM）的广泛应用，了解用户如何与这些模型互动变得越来越重要。Trubrics作为一个LLM用户分析平台，能够帮助开发者收集、分析和管理用户在AI模型上的交互和反馈。这篇文章将指导您如何设置和使用Trubrics的CallbackHandler，以便更好地利用用户数据提升AI模型的性能。

主要内容

安装和设置

首先，我们需要安装必要的Python包。你可以通过以下命令轻松完成：

%pip install --upgrade --quiet trubrics langchain langchain-community

获取Trubrics凭证

如果您还没有Trubrics账号，可以在这里创建一个。在这篇教程中，我们将使用账户创建时的默认项目。然后，将您的凭证设置为环境变量：

import os

os.environ["TRUBRICS_EMAIL"] = "***@***"
os.environ["TRUBRICS_PASSWORD"] = "***"

使用Trubrics CallbackHandler

TrubricsCallbackHandler可以接收多种可选参数。以下是如何使用它的示例。

from langchain_community.callbacks.trubrics_callback import TrubricsCallbackHandler

# 使用API代理服务提高访问稳定性
llm = OpenAI(callbacks=[TrubricsCallbackHandler()])

代码示例

示例1：与LLM结合使用

from langchain_openai import OpenAI

# 使用API代理服务提高访问稳定性
llm = OpenAI(callbacks=[TrubricsCallbackHandler()])

res = llm.generate(["Tell me a joke", "Write me a poem"])

print("--> GPT's joke: ", res.generations[0][0].text)
print("--> GPT's poem: ", res.generations[1][0].text)

示例2：与聊天模型结合使用

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

chat_llm = ChatOpenAI(
    callbacks=[
        TrubricsCallbackHandler(
            project="default",
            tags=["chat model"],
            user_id="user-id-1234",
            some_metadata={"hello": [1, 2]},
        )
    ]
)

chat_res = chat_llm.invoke(
    [
        SystemMessage(content="Every answer of yours must be about OpenAI."),
        HumanMessage(content="Tell me a joke"),
    ]
)

print(chat_res.content)