[使用Arthur Callback Handler监控您的AI模型：实时记录的完整指南]-CSDN博客

本文链接：https://blog.csdn.net/ndAbsAfaqwdav/article/details/144415407

# 使用Arthur Callback Handler监控您的AI模型：实时记录的完整指南

## 引言

在现代的AI开发中，模型监控和可观测性是确保模型性能和可靠性的关键因素。Arthur提供了一种强大的平台来监控和分析您的AI模型。本文将教你如何使用Arthur的回调处理器（callback handler）来自动记录语言模型的推理过程。如果您还没有将模型加入Arthur，请先参考我们的[入门指南](https://app.arthur.ai/onboarding)。

## 主要内容

### 1. 安装和设置

首先，确保您拥有Arthur账户，并准备好您的凭证：

```python
arthur_url = "https://app.arthur.ai"
arthur_login = "your-arthur-login-username-here"
arthur_model_id = "your-arthur-model-id-here"

2. 引入必要的回调处理器

在代码中，我们需要用到ArthurCallbackHandler和其他辅助库来实现回调处理：

from langchain_community.callbacks import ArthurCallbackHandler
from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

3. 使用Arthur回调处理器创建Langchain LLM

以下是一个创建支持流式输出和Arthur记录的语言模型的示例函数：

def make_langchain_chat_llm():
    return ChatOpenAI(
        streaming=True,
        temperature=0.1,
        callbacks=[
            StreamingStdOutCallbackHandler(),
            ArthurCallbackHandler.from_credentials(
                arthur_model_id, arthur_url=arthur_url, arthur_login=arthur_login
            ),
        ],
    )

4. 运行语言模型

通过下述代码运行模型，并在控制台中输入内容进行测试：

chatgpt = make_langchain_chat_llm()

def run(llm):
    history = []
    while True:
        user_input = input("\n>>> input >>>\n>>>: ")
        if user_input == "q":
            break
        history.append(HumanMessage(content=user_input))
        history.append(llm(history))

run(chatgpt)