Langfuse标注数据集

一、手工标注

1、创建数据集

2、打分

3、指定数据集

并且可以在Expected Output中输入期望的输出

二、上传数据集

1、编写代码

from langfuse import Langfuse
import os
# 加载 .env 到环境变量
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())
import json
from langfuse.model import CreateDatasetRequest, CreateDatasetItemRequest
from tqdm import tqdm


data = []
with open('my_langfusedataset.jsonl', 'r', encoding='utf-8') as fp:
    for line in fp:
        example = json.loads(line.strip())
        item = {
            "input": {
                "outlines": example["outlines"],
                "user_input": example["user_input"]
            },
            "expected_output": example["label"]
        }
        data.append(item)

# init
langfuse = Langfuse()


for item in tqdm(data[:50]):
    langfuse.create_dataset_item(
        dataset_name="myDataset1",
        input=item["input"],
        expected_output=item["expected_output"]
    )