使用Infino和LangChain进行AI模型监控：实用指南

最新推荐文章于 2024-10-07 06:31:57 发布

stjklkjhgffxw

最新推荐文章于 2024-10-07 06:31:57 发布

阅读量381

点赞数 4

文章标签： langchain 人工智能 python

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142289951

版权

## 引言

在现代软件开发中，日志、指标和踪迹（traces）是监控系统健康状况的核心元素。Infino作为一款可扩展的遥测存储解决方案，可以独立运作，也可以作为观察堆栈中的存储层。本文将介绍如何结合使用LangChain和Infino来跟踪调用OpenAI和ChatOpenAI模型时的输入、响应、延迟、错误和令牌消耗。

## 主要内容

### 初始化环境

首先，我们需要安装必要的依赖项：

```python
%pip install --upgrade --quiet infinopy matplotlib tiktoken langchain langchain-openai langchain-community

接下来，导入所需的模块：

from langchain_community.callbacks.infino_callback import InfinoCallbackHandler
from infinopy import InfinoClient
from langchain_openai import OpenAI

启动Infino服务并初始化客户端

启动Infino服务器，并创建客户端实例：

!docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

client = InfinoClient()

使用LangChain进行问答

我们将OpenAI与InfinoCallbackHandler结合，记录相关指标：

handler = InfinoCallbackHandler(
    model_id="test_openai", model_version="0.1", verbose=False
)

llm = OpenAI(temperature=0.1)

questions = [
    "In what country is Normandy located?",
    "When were the Normans in Normandy?",
    "From which countries did the Norse originate?",
    # 更多问题...
]

for question in questions[:10]:
    llm_result = llm.generate([question], callbacks=[handler])
    print(llm_result)

绘制指标图表

使用Matplotlib创建延迟、错误和令牌消耗的图表：

import matplotlib.pyplot as plt
import datetime as dt

def plot(data, title):
    # 代码逻辑...

response = client.search_ts("__name__", "latency", 0, int(time.time()))
plot(response.text, "Latency")

response = client.search_ts("__name__", "error", 0, int(time.time()))
plot(response.text, "Errors")