python 缺点工具包太多_解决 SageMaker Python 软件开发工具包中的“超出速率”和限流异常...

如何解决 SageMaker Python 软件开发工具包中的超出速率和限流异常？

上次更新日期：2020 年 10 月 12 日

如何解决在使用 Amazon SageMaker Python 软件开发工具包时出现的“botocore.exceptions.ClientError: An error occurred (ThrottlingException)”等限流错误？

简短描述

将带有自定义重试配置的 SageMaker boto3 客户端添加到 SageMaker Python 软件开发工具包客户端。

解决方法

1. 创建带有自定义重试配置的 SageMaker boto3 客户端。示例：

import boto3

from botocore.config import Config

sm_boto = boto3.client('sagemaker', config=Config(connect_timeout=5, read_timeout=60, retries={'max_attempts': 20}))

print(sm_boto.meta.config.retries)

2. 使用上一步中的 boto3 客户端创建一个 SageMaker Python 软件开发工具包客户端。示例：

import sagemaker

sagemaker_session = sagemaker.Session(sagemaker_client = sm_boto)

region = sagemaker_session.boto_session.region_name

print(sagemaker_session.sagemaker_client.meta.config.retries)

3. 使用来自 SageMaker Python 软件开发工具包的多个请求测试 SageMaker API。示例：

import multiprocessing

def worker(TrainingJobName):

print(sagemaker_session.sagemaker_client

.describe_training_job(TrainingJobName=TrainingJobName)

['TrainingJobName'])

return

if __name__ == '__main__':

jobs = []

TrainingJobName = 'your-job-name'

for i in range(10):

p = multiprocessing.Process(target=worker, args=(TrainingJobName,))

jobs.append(p)

p.start()

4. 使用 sagemaker_session 参数创建 sagemaker.estimator.Estimator 实例类。示例：

estimator = sagemaker.estimator.Estimator(container,

role,

train_instance_count=1,

train_instance_type='ml.c4.4xlarge',

train_volume_size = 30,

train_max_run = 360000,

input_mode= 'File',

output_path=s3_output_location,

sagemaker_session=sagemaker_session )

5. 要确认重试配置是否解决了限流异常，请从您在上一步中创建的估算器中启动培训作业：

estimator.fit()

这篇文章对您有帮助吗？

您是否需要账单或技术支持？