[如何使用Infino与LangChain跟踪AI模型性能]

最新推荐文章于 2024-10-07 06:31:57 发布

nseejrukjhad

最新推荐文章于 2024-10-07 06:31:57 发布

阅读量242

点赞数 5

文章标签： langchain 人工智能 python

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142428561

版权

引言

在现代应用中，监控和记录AI模型的性能变得尤为重要。Infino是一个可扩展的遥测存储解决方案，能够有效记录日志、指标和跟踪信息。本文将介绍如何使用Infino与LangChain集成，通过记录OpenAI和ChatOpenAI模型的输入、输出、延迟、错误和tokens消耗，全面跟踪AI模型的性能。

主要内容

1. 初始化

首先，我们需要安装一些必要的依赖：

%pip install --upgrade --quiet infinopy
%pip install --upgrade --quiet matplotlib
%pip install --upgrade --quiet tiktoken
%pip install --upgrade --quiet langchain langchain-openai langchain-community

然后，导入必要的库：

from langchain_community.callbacks.infino_callback import InfinoCallbackHandler
from infinopy import InfinoClient
from langchain_openai import OpenAI

2. 启动Infino服务器并初始化客户端

接下来，启动Infino服务器，并创建Infino客户端：

!docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

client = InfinoClient()

3. 读取数据集

我们将使用一组问题作为测试数据：

data = """In what country is Normandy located?
When were the Normans in Normandy?
..."""
questions = data.split("\n")

4. 调用OpenAI模型并记录指标

以下代码展示了如何使用LangChain与OpenAI模型交互，并通过Infino记录性能指标：

handler = InfinoCallbackHandler(
    model_id="test_openai", model_version="0.1", verbose=False
)

llm = OpenAI(temperature=0.1)
num_questions = 10
questions = questions[0:num_questions]

for question in questions:
    print(question)
    llm_result = llm.generate([question], callbacks=[handler])
    print(llm_result)

5. 创建性能图表

使用matplotlib来创建模型性能的图表：

def plot(data, title):
    data = json.loads(data)
    timestamps = [item["time"] for item in data]
    dates = [dt.datetime.fromtimestamp(ts) for ts in timestamps]
    y = [item["value"] for item in data]

    plt.rcParams["figure.figsize"] = [6, 4]
    plt.subplots_adjust(bottom=0.2)
    plt.xticks(rotation=25)
    ax = plt.gca()
    xfmt = md.DateFormatter("%Y-%m-%d %H:%M:%S")
    ax.xaxis.set_major_formatter(xfmt)

    plt.plot(dates, y)
    plt.xlabel("Time")
    plt.ylabel("Value")
    plt.title(title)
    plt.show()

response = client.search_ts("__name__", "latency", 0, int(time.time()))
plot(response.text, "Latency")