深入探索Weights & Biases：如何跟踪LangChain实验

bhawfgrcbtwny

于 2024-10-01 21:29:56 发布

阅读量175

点赞数 3

文章标签： langchain python

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142675004

版权

引言

在现代机器学习工作流程中，跟踪和可视化实验过程变得至关重要。Weights & Biases(W&B)提供了一个强大的工具，可帮助开发者将实验数据集中存储并进行分析。在这篇文章中，我们将探讨如何使用W&B跟踪LangChain实验，以及如何有效地使用这些数据来改进机器学习模型。

主要内容

1. 环境准备

在开始之前，请确保已安装必要的Python包。使用以下命令安装所需的库：

%pip install --upgrade --quiet wandb pandas textstat spacy
!python -m spacy download en_core_web_sm

2. 使用WandbTracer管理回调

随着W&B功能的扩展，WandbCallbackHandler正在被WandbTracer取代。WandbTracer提供了更灵活的日志记录功能。

3. 实验场景

在以下几个场景中，我们将展示如何使用W&B跟踪LangChain的运行：

场景1：生成式模型
场景2：链式调用
场景3：工具组合代理

4. 关键代码块

我们将使用W&B集成OpenAI和其他LLM（大语言模型）的生成任务，并展示如何同步实验数据到W&B平台。

代码示例

import os
from datetime import datetime
from langchain_community.callbacks import WandbCallbackHandler
from langchain_core.callbacks import StdOutCallbackHandler
from langchain_openai import OpenAI

# 设置API代理服务提高访问稳定性
os.environ["WANDB_API_KEY"] = ""
# os.environ["OPENAI_API_KEY"] = ""
# os.environ["SERPAPI_API_KEY"] = ""

session_group = datetime.now().strftime("%m.%d.%Y_%H.%M.%S")
wandb_callback = WandbCallbackHandler(
    job_type="inference",
    project="langchain_callback_demo",
    group=f"minimal_{session_group}",
    name="llm",
    tags=["test"],
)
callbacks = [StdOutCallbackHandler(), wandb_callback]
llm = OpenAI(temperature=0, callbacks=callbacks)

llm_result = llm.generate(["Tell me a joke", "Tell me a poem"] * 3)
wandb_callback.flush_tracker(llm, name="simple_sequential")