引言
Label Studio 是一个开源的数据标注平台,为 LangChain 提供灵活性,用于细化大型语言模型(LLM)的数据标注。通过 Label Studio,您可以准备自定义的训练数据,并通过人类反馈收集和评估响应。本文将指导您如何连接 LangChain 处理管线到 Label Studio,以实现数据汇总、细化和响应评估。
主要内容
安装和设置
首先安装 Label Studio 和相关的 API 客户端:
%pip install --upgrade --quiet langchain label-studio label-studio-sdk langchain-openai langchain-community
在命令行中运行 label-studio
启动本地 Label Studio 实例,访问 http://localhost:8080。获取 API 调用所需的令牌可通过访问您的 Label Studio 实例,前往 “Account & Settings > Access Token” 复制密钥。
配置环境变量:
import os
os.environ["LABEL_STUDIO_URL"] = "http://localhost:8080" # 使用API代理服务提高访问稳定性
os.environ["LABEL_STUDIO_API_KEY"] = "<YOUR-LABEL-STUDIO-API-KEY>"
os.environ["OPENAI_API_KEY"] = "<YOUR-OPENAI-API-KEY>"
收集 LLM 提示和响应
要在 Label Studio 中创建项目并配置 XML:
<View>
<Style>
.prompt-box {
background-color: white;
border-radius: 10px;
box-shadow: 0px 4px 6px rgba(0, 0, 0, 0.1);
padding: 20px;
}
</Style>