langfuse 监控大模型

原创

已于 2025-03-18 12:01:25 修改 · 638 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #语言模型

于 2025-03-18 11:52:46 首次发布

该文章已生成可运行项目，

前言

你可以用 Together.ai 提供的免费 API（支持 Llama2/Mistral）进行推理，并用 Langfuse 记录请求日志。

1.先申请 Together.ai 免费 API Key

打开 Together.ai 官网
注册账户
获取 API Key

2.langfuse 配置

首先注册账号。
添加组织
在这里插入图片描述
组织下添加项目

添加成员，然后点击下一步（next）

创建项目

创建成功后，会显示一些信息，记下这页的信息，下文会用到。

2. 配置环境变量

export LANGFUSE_SECRET_KEY="sk-lf-81b933f9-ec4c-4bb6-8786-95a651b7a5e5"
export LANGFUSE_PUBLIC_KEY="pk-lf-142eb99c-e809-4ffc-bdcf-527ed6c993d5"
#EU region
export LANGFUSE_HOST="https://langfuse.bj.office.openbayes.com"
export ANTHROPIC_API_KEY="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"
export TOGETHER_API_KEY="e3cd30fb798884e2ad0e49730f18f1790448a875de29a303d993fde33004e1eb"

3.安装依赖

pip install langfuse

4.代码：使用 Together.ai 并监控请求

import os
import requests
from langfuse.decorators import observe
import argparse

# 获取 API Key
TOGETHER_API_KEY = os.getenv("TOGETHER_API_KEY")
LANGFUSE_HOST = os.getenv("LANGFUSE_HOST")
LANGFUSE_PUBLIC_KEY = os.getenv("LANGFUSE_PUBLIC_KEY")
LANGFUSE_SECRET_KEY = os.getenv(