[使用Infino进行LangChain和OpenAI调用的全面分析]

ahdfwcevnhrtds

于 2024-10-08 15:49:45 发布

阅读量146

点赞数 2

文章标签： langchain python

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142761792

版权

# 使用Infino进行LangChain和OpenAI调用的全面分析

## 引言

在现代软件开发中，性能监控和日志记录是确保应用程序运行顺畅的关键步骤。Infino是一款可扩展的遥测存储工具，适用于日志、指标和跟踪。本文将介绍如何结合LangChain和Infino使用OpenAI模型进行分析，并跟踪输入提示、响应、延迟、错误和消耗的令牌数量。

## 主要内容

### 初始化环境

首先，我们需要安装必要的依赖库：

```python
%pip install --upgrade --quiet infinopy
%pip install --upgrade --quiet matplotlib
%pip install --upgrade --quiet tiktoken
%pip install --upgrade --quiet langchain langchain-openai langchain-community

接下来，导入所需模块：

from langchain_community.callbacks.infino_callback import InfinoCallbackHandler
import datetime as dt
import json
import time
import matplotlib.dates as md
import matplotlib.pyplot as plt
from infinopy import InfinoClient
from langchain_openai import OpenAI

启动Infino服务器并创建客户端

!docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

client = InfinoClient()  # 使用API代理服务提高访问稳定性

执行示例：LangChain OpenAI Q&A

我们将通过一个问答示例展示如何使用Infino进行监控：

# os.environ["OPENAI_API_KEY"] = "YOUR_API_KEY"

handler = InfinoCallbackHandler(model_id="test_openai", model_version="0.1", verbose=False)
llm = OpenAI(temperature=0.1)
num_questions = 10

questions = [
    "In what country is Normandy located?",
    "When were the Normans in Normandy?",
    # Additional questions here...
]

for question in questions[:num_questions]:
    llm_result = llm.generate([question], callbacks=[handler])
    print(llm_result)

创建指标图表

我们将使用Matplotlib绘制延迟和令牌消耗的图表：

def plot(data, title):
    data = json.loads(data)
    timestamps = [item["time"] for item in data]
    dates = [dt.datetime.fromtimestamp(ts) for ts in timestamps]
    y = [item["value"] for item in data]

    plt.rcParams["figure.figsize"] = [6, 4]
    plt.subplots_adjust(bottom=0.2)
    plt.xticks(rotation=25)
    ax = plt.gca()
    xfmt = md.DateFormatter("%Y-%m-%d %H:%M:%S")
    ax.xaxis.set_major_formatter(xfmt)

    plt.plot(dates, y)
    plt.xlabel("Time")
    plt.ylabel("Value")
    plt.title(title)
    plt.show()

response = client.search_ts("__name__", "latency", 0, int(time.time()))
plot(response.text, "Latency")