[使用Arthur进行模型监控：轻松集成与自动日志记录]

bhawfgrcbtwny

于 2024-10-01 02:24:29 发布

阅读量64

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142666464

版权

# 使用Arthur进行模型监控：轻松集成与自动日志记录

在当今的人工智能开发中，监控和可观察性变得尤为重要。Arthur作为一个模型监控和可观察性平台，能够帮助开发者自动记录模型推理过程。本篇文章将介绍如何使用Arthur的回调处理器与注册的聊天LLM集成，实现自动记录。

## 引言

AI模型的性能监控对于持续优化和维护至关重要。通过将Arthur回调处理器与模型集成，开发者能够实时将模型的推理日志保存到Arthur平台，从而更好地监控模型的表现。

## 主要内容

### 安装和设置

首先，需要设置Arthur的相关凭证：

```python
arthur_url = "https://app.arthur.ai"
arthur_login = "your-arthur-login-username-here"
arthur_model_id = "your-arthur-model-id-here"

创建Langchain LLM与Arthur回调处理器集成

使用Langchain框架来创建LLM，并设置Arthur回调处理器：

from langchain_community.callbacks import ArthurCallbackHandler
from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

def make_langchain_chat_llm():
    return ChatOpenAI(
        streaming=True,
        temperature=0.1,
        callbacks=[
            StreamingStdOutCallbackHandler(),
            ArthurCallbackHandler.from_credentials(
                arthur_model_id, arthur_url=arthur_url, arthur_login=arthur_login
            ),
        ],
    )

chatgpt = make_langchain_chat_llm()

运行LLM并记录推理结果

运行聊天LLM，通过一个简单的交互循环保存聊天历史并记录每次响应：

def run(llm):
    history = []
    while True:
        user_input = input("\n>>> input >>>\n>>>: ")
        if user_input == "q":
            break
        history.append(HumanMessage(content=user_input))
        history.append(llm(history))

run(chatgpt)