[ClearML与Langchain强强联手：实现智能实验追踪与管理]

mmlihaio

于 2024-10-01 04:57:52 发布

阅读量169

点赞数 2

文章标签： langchain python

本文链接：https://blog.csdn.net/mmlihaio/article/details/142666742

版权

# 引言

在机器学习和深度学习的发展过程中，随着模型复杂度的增加，对实验管理和追踪的需求日益增长。ClearML作为一套完整的机器学习/深度学习开发和生产套件，为开发者提供了多种便捷的实验管理工具。这篇文章将介绍如何通过ClearML集成Langchain，实现自动化的实验追踪与管理。

# 主要内容

## ClearML的核心模块

ClearML包括五个核心模块：

1. **实验管理器**：自动化的实验追踪、环境管理和结果记录。
2. **MLOps**：用于机器学习/深度学习作业的编排、自动化和流水线解决方案。
3. **数据管理**：在对象存储上实现全可微的数据管理和版本控制。
4. **模型服务**：可扩展的云就绪模型服务方案。
5. **报告生成**：创建并分享支持嵌入在线内容的丰富Markdown文档。

## 安装和设置

在开始之前，请确保ClearML和Langchain的相关依赖已安装。

```bash
%pip install --upgrade --quiet clearml
%pip install --upgrade --quiet langchain

API凭证获取

由于ClearML集成了多个API服务，我们需要获取相应的API凭证：

设置环境变量：

import os

os.environ["CLEARML_API_ACCESS_KEY"] = "你的ClearML访问密钥"
os.environ["CLEARML_API_SECRET_KEY"] = "你的ClearML密钥"
os.environ["OPENAI_API_KEY"] = "你的OpenAI密钥"
os.environ["SERPAPI_API_KEY"] = "你的SerpAPI密钥"

使用ClearML回调处理器

from langchain_community.callbacks import ClearMLCallbackHandler
from langchain_core.callbacks import StdOutCallbackHandler
from langchain_openai import OpenAI

clearml_callback = ClearMLCallbackHandler(
    task_type="inference",
    project_name="langchain_callback_demo",
    task_name="llm",
    tags=["test"],
    visualize=True,
    complexity_metrics=True,
    stream_logs=True,
)
callbacks = [StdOutCallbackHandler(), clearml_callback]
llm = OpenAI(temperature=0, callbacks=callbacks)

代码示例

场景1：单独运行LLM

在此场景中，我们运行简单的LLM并使用ClearML追踪实验结果。

llm_result = llm.generate(["Tell me a joke", "Tell me a poem"] * 3)
clearml_callback.flush_tracker(langchain_asset=llm, name="simple_sequential")

场景2：创建带有工具的Agent

在这个更复杂的场景中，我们创建一个带有工具的代理。

from langchain.agents import AgentType, initialize_agent, load_tools

tools = load_tools(["serpapi", "llm-math"], llm=llm, callbacks=callbacks)
agent = initialize_agent(
    tools,
    llm,
    agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
    callbacks=callbacks,
)
agent.run("Who is the wife of the person who sang summer of 69?")
clearml_callback.flush_tracker(
    langchain_asset=agent, name="Agent with Tools", finish=True
)