【使用Arthur平台实时监控语言模型：完整指南】

最新推荐文章于 2025-05-19 10:04:29 发布

sjufgwgfhoia

最新推荐文章于 2025-05-19 10:04:29 发布

阅读量385

点赞数 4

文章标签：语言模型人工智能自然语言处理 python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142962824

版权

# 使用Arthur平台实时监控语言模型：完整指南

在AI模型的开发和部署过程中，对模型性能进行实时监控是至关重要的一环。Arthur提供了一个强大的模型监控和可观测性平台，帮助开发者轻松追踪模型推断。在这篇文章中，您将学习如何使用Arthur的回调处理器来自动记录模型推断。

## 引言

本文旨在指导您如何利用Arthur平台和Langchain库实现聊天式语言模型（LLM）的实时监控。通过将推断结果日志记录到Arthur，您可以轻松地在可视化仪表盘上查看模型的决策过程。如果您还没有将模型注册到Arthur，请参阅我们的[生成文本模型入门指南](https://app.arthur.ai/docs)。有关如何使用Arthur SDK的更多信息，请访问[Arthur文档](https://app.arthur.ai/docs)。

## 主要内容

### 安装和设置

首先，您需要配置Arthur的凭证信息：

```python
arthur_url = "https://app.arthur.ai"
arthur_login = "your-arthur-login-username-here"
arthur_model_id = "your-arthur-model-id-here"

回调处理器

使用以下代码创建一个带有Arthur回调处理器的Langchain聊天式LLM：

from langchain_community.callbacks import ArthurCallbackHandler
from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

def make_langchain_chat_llm():
    return ChatOpenAI(
        streaming=True,
        temperature=0.1,
        callbacks=[
            StreamingStdOutCallbackHandler(),
            ArthurCallbackHandler.from_credentials(
                arthur_model_id, arthur_url=arthur_url, arthur_login=arthur_login
            ),
        ],
    )

chatgpt = make_langchain_chat_llm()
# 使用API代理服务提高访问稳定性

运行LLM

创建一个简单的交互式命令行工具，以便与聊天模型进行交互，并记录推断日志：

def run(llm):
    history = []
    while True:
        user_input = input("\n>>> input >>>\n>>>: ")
        if user_input == "q":
            break
        history.append(HumanMessage(content=user_input))
        history.append(llm(history))

run(chatgpt)