如何使用Comet跟踪LangChain实验与LLM会话

ahdfwcevnhrtds

于 2024-10-01 05:21:11 发布

阅读量63

点赞数 1

文章标签： langchain python

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142666797

版权

# 如何使用Comet跟踪LangChain实验与LLM会话

在机器学习的世界中，管理、可视化和优化模型的能力至关重要。Comet 是一个强大的机器学习平台，它可以无缝集成到您的现有基础设施和工具中，让您能够从训练运行到生产监控全面掌控模型。在本文中，我们将展示如何使用 Comet 追踪 LangChain 实验、评估指标和 LLM (Large Language Model) 会话。

## 安装Comet和依赖项

首先，我们需要安装 Comet 和相关依赖项。使用以下命令：

```bash
%pip install --upgrade --quiet comet_ml langchain langchain-openai google-search-results spacy textstat pandas

接下来，为 SpaCy 下载所需的语言模型：

!{sys.executable} -m spacy download en_core_web_sm

初始化Comet并设置凭据

获取 Comet API Key 并初始化：

import comet_ml

comet_ml.init(project_name="comet-example-langchain")

设置 OpenAI 和 SerpAPI 凭据：

import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
# os.environ["OPENAI_ORGANIZATION"] = "YOUR_ORGANIZATION_ID"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERPAPI_API_KEY"

场景1: 使用单个LLM

此场景展示如何使用 Comet 追踪 LLM 运行：

from langchain_community.callbacks import CometCallbackHandler
from langchain_core.callbacks import StdOutCallbackHandler
from langchain_openai import OpenAI

comet_callback = CometCallbackHandler(
    project_name="comet-example-langchain",
    complexity_metrics=True,
    stream_logs=True,
    tags=["llm"],
    visualizations=["dep"],
)
callbacks = [StdOutCallbackHandler(), comet_callback]
llm = OpenAI(temperature=0.9, callbacks=callbacks, verbose=True)

llm_result = llm.generate(["Tell me a joke", "Tell me a poem", "Tell me a fact"] * 3)
print("LLM result", llm_result)
comet_callback.flush_tracker(llm, finish=True)