探索SageMaker Tracking：如何高效跟踪和记录ML实验

stjklkjhgffxw

已于 2024-09-23 13:16:28 修改

阅读量271

点赞数 5

文章标签： python 开发语言

于 2024-09-23 13:16:18 首次发布

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142362599

版权

探索SageMaker Tracking：如何高效跟踪和记录ML实验

在机器学习模型的开发过程中，构建、训练和部署过程中的实验跟踪至关重要。Amazon SageMaker提供了一种强大的解决方案来简化这一任务。本文将深入探讨如何利用SageMaker Experiments来组织、跟踪和评估ML实验及模型版本，特别介绍如何使用LangChain Callback记录和追踪提示以及其他LLM超参数。

1. 引言

Amazon SageMaker是一个完全托管的服务，用于快速、轻松地构建、训练和部署机器学习模型。而SageMaker Experiments是其功能之一，允许你组织、跟踪、比较和评估实验。本文将演示如何通过LangChain Callback记录用于生成输出的提示和其他超参数。

2. 主要内容

我们将通过不同的场景展示这一功能：

场景1：单个LLM

使用一个单一的LLM模型根据给定的提示生成输出。

场景2：顺序链

使用两个LLM模型的顺序链生成输出。

场景3：带工具的Agent（思维链）

使用多个工具（如搜索和数学）及LLM的组合来生成输出。

3. 代码示例

首先，我们需要安装和设置环境：

%pip install --upgrade --quiet sagemaker
%pip install --upgrade --quiet langchain-openai
%pip install --upgrade --quiet google-search-results

设置API密钥：

import os

# 添加你的API密钥
os.environ["OPENAI_API_KEY"] = "<ADD-KEY-HERE>"
os.environ["SERPAPI_API_KEY"] = "<ADD-KEY-HERE>"

场景1：单个LLM

from langchain_community.callbacks.sagemaker_callback import SageMakerCallbackHandler
from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate
from langchain_openai import OpenAI
from sagemaker.experiments.run import Run
from sagemaker.session import Session

HPARAMS = {"temperature": 0.1, "model_name": "gpt-3.5-turbo-instruct"}
BUCKET_NAME = None
EXPERIMENT_NAME = "langchain-sagemaker-tracker"

session = Session(default_bucket=BUCKET_NAME)
RUN_NAME = "run-scenario-1"
PROMPT_TEMPLATE = "tell me a joke about {topic}"
INPUT_VARIABLES = {"topic": "fish"}

with Run(experiment_name=EXPERIMENT_NAME, run_name=RUN_NAME, sagemaker_session=session) as run:
    sagemaker_callback = SageMakerCallbackHandler(run)
    llm = OpenAI(callbacks=[sagemaker_callback], **HPARAMS)
    prompt = PromptTemplate.from_template(template=PROMPT_TEMPLATE)
    chain = LLMChain(llm=llm, prompt=prompt, callbacks=[sagemaker_callback])
    chain.run(**INPUT_VARIABLES)
    sagemaker_callback.flush_tracker()