利用 Argilla 实现 LLM 数据追踪和优化

本文链接：https://blog.csdn.net/bavDHAUO/article/details/146219904

在构建语言模型(LLM)的过程中，数据的管理和优化是一个关键环节。Argilla 提供了一个开源的数据管理平台，帮助开发者通过更快速的数据整理和反馈机制，提升语言模型的性能。在这篇文章中，我们将介绍如何通过 ArgillaCallbackHandler 跟踪 LLM 的输入和响应，从而生成可用于未来微调的数据集。

技术背景介绍

LLM 的性能往往取决于训练数据的质量和精度。因此，记录和管理 LLM 的输入和输出，可以为模型的优化和微调提供丰富的数据支持。Argilla 提供了一整套 MLOps 支持，从数据标签到模型监控，并允许通过人机反馈进行数据处理。

核心原理解析

Argilla 的 ArgillaCallbackHandler 是一个用于跟踪 LLM 操作的工具。它可以记录每次模型输入（prompt）和模型输出（response），生成数据集以便于后续分析和改进。这种机制特别适合于诸如问答、摘要生成或翻译等特定任务的数据生成。

代码实现演示

下面演示如何安装相关包并设置环境：

# 安装相关包
%pip install --upgrade --quiet langchain langchain-openai argilla

import os

# 设置 Argilla API 凭证
os.environ["ARGILLA_API_URL"] = "your-argilla-api-url"
os.environ["ARGILLA_API_KEY"] = "your-argilla-api-key"

# 设置 OpenAI API 凭证
os.environ["OPENAI_API_KEY"] = "your-openai-api-key"

设置 Argilla 数据集

创建用于存储 LLM 实验结果的数据集：

import argilla as rg
from packaging.version import parse as parse_version

if parse_version(rg.__version__) < parse_version("1.8.0"):
    raise RuntimeError("`FeedbackDataset` 只能在 Argilla v1.8.0 或更高版本使用，请升级 `argilla`。")

dataset = rg.FeedbackDataset(
    fields=[
        rg.TextField(name="prompt"),
        rg.TextField(name="response"),
    ],
    questions=[
        rg.RatingQuestion(
            name="response-rating",
            description="你如何评价回复的质量？",
            values=[1, 2, 3, 4, 5],
            required=True,
        ),
        rg.TextQuestion(
            name="response-feedback",
            description="你对回复有什么反馈？",
            required=False,
        ),
    ],
    guidelines="请评价回复的质量并提供反馈。",
)

rg.init(
    api_url=os.environ["ARGILLA_API_URL"],
    api_key=os.environ["ARGILLA_API_KEY"],
)

dataset.push_to_argilla("langchain-dataset")

跟踪 LLM 的输入输出

通过 ArgillaCallbackHandler 跟踪 LLM 的操作：

from langchain_community.callbacks.argilla_callback import ArgillaCallbackHandler
from langchain_core.callbacks.stdout import StdOutCallbackHandler
from langchain_openai import OpenAI

argilla_callback = ArgillaCallbackHandler(
    dataset_name="langchain-dataset",
    api_url=os.environ["ARGILLA_API_URL"],
    api_key=os.environ["ARGILLA_API_KEY"],
)
callbacks = [StdOutCallbackHandler(), argilla_callback]

llm = OpenAI(temperature=0.9, callbacks=callbacks)
llm.generate(["Tell me a joke", "Tell me a poem"] * 3)