【AI落地应用实战】Amazon SageMaker JumpStart 体验零一万物的 Yi 1.5 模型

中国大模型公司零一万物发布开源大模型Yi-1.5,包含多个版本。同时发布多款模型API接口,其中Yi-Large模型性能卓越,已进军全球顶级大模型之首。零一万物还启动下一代模型训练,旨在冲击GPT-5性能。

本篇文章将介绍 Amazon SageMaker JumpStart 快速部署 Yi-1.5 9B Chat 模型实践。

一、前言

1.1、Amazon SageMaker JumpStart

Amazon SageMaker JumpStart 是 Amazon SageMaker 平台的一部分,旨在帮助用户更快、更轻松地启动和开发机器学习项目。这是亚马逊云科技提供的一个非常实用的工具,特别适合那些希望迅速启动和开发机器学习项目的用户。

SageMaker JumpStart 可以视为 SageMaker 的一个扩展,它专注于简化机器学习项目的启动过程。通过提供预训练模型、解决方案模板和一键部署功能,JumpStart 大幅度降低了初始设置的复杂性,加快了从概念到实际应用的过渡。

在这里插入图片描述
JumpStart 的一键部署功能使用户能够迅速将模型投入实际应用,简化了复杂的技术步骤,使你能够更加专注于项目的核心目标。对于刚刚接触机器学习的新手,JumpStart 提供了详细的教程和学习资源,帮助你逐步掌握相关技术。即使是经验丰富的开发者,也能通过 JumpStart 提供的预配置和优化资源,进一步加速项目的开发进程。

在这里插入图片描述

1.2、Yi-1.5 9B Chat 模型

Yi-1.5 系列开源大模型是零一万物 Yi 系列模型的升级版,分为 6B、9B、34B 三个版本,采用 Apache 2.0 许可证。Yi-1.5 在前作的基础上使用高质量的 500B Token 进行持续预训练,因此延续了 Yi 系列开源模型的出色表现。

由下表可见,Yi-1.5 34B 在 C-Eval、CMMLU 和 Gaokao等多项基准测试中均超过了 GPT-3.5 和4,表明 Yi-1.5 34B 在处理汉语和与中国相关的任务时具有明显的优势。另外,Yi 系列经过微调的对话模型在 LMSYS Chatbot Arena 等主要评估平台上获得了较高的人类偏好率,能够提供自然流畅的对话交互体验和需求。

在这里插入图片描述
本次实验使用的是Yi-1.5 9B Chat 模型,它在多个任务上表现出色,尤其在对话生成、文本生成和语言理解方面尤为突出。Yi-1.5 9B Chat这个模型专门针对对话任务进行了优化,能够捕捉复杂的语言模式和上下文关系,从而生成更加自然和连贯的对话内容,在与用户交互时能产生相关且有意义的回应,理解上下文并提供连贯的回答。

二、Yi 1.5实践流程

2.1、准备SageMaker Studio环境

首先进入亚马逊云科技海外官网,点击进入亚马逊控制台,然后在左上方搜索栏搜索Amazon SageMaker,点击进入Amazon SageMaker界面
在这里插入图片描述
点击左侧导航栏中的 Domains,之后点击 Create domain,选择 Set up for single user (Quick setup),如果新建Studio环境失败的话,可以切换到US West (Oregon)(us-west-2)再试一试。如果提示没有用户的话,可以点击Add user 以添加新的用户,并在接下来的几个步骤中选择默认值,并点击 Next和Submit,等待片刻即可完成用户创建。

在这里插入图片描述
创建成功后点击创建好的Domain,随后切换到 用户配置文件 选项卡,看到预先创建好的用户,点击Launch中的Studio打开SageMaker Studio的环境。
在这里插入图片描述

显示如下页面,则说明成功创建并进入了SageMaker Studio工作区:

在这里插入图片描述

2.2、部署Yi-1.5-9B模型

进入SageMaker Studio后,点击左侧导航栏中的 JumpStart 按钮,然后在搜索栏中搜索 yi 来找到所有的 Yi 系列模型。
在这里插入图片描述
单击模型卡片会打开如下的模型详情页面,从该页面点击右上方的 Deploy ,快速进入模型的部署流程。

在这里插入图片描述
进入模型部署界面后,可以直接使用默认配置进行部署,也可以根据需要自定义部署设置,例如命名 SageMaker Endpoint、选择实例类型、设置初始实例数量和可扩展的最大实例数量等。以 Yi-1.5 9B Chat 为例,这里使用配备单个 A10g GPU 的 ml.g5.2xlarge 实例进行部署

在这里插入图片描述

触发部署后,可以在左侧 Endpoints 选项中,找到当前部署的 SageMaker Endpoint,并跟踪其部署状态,大概等待5分钟作用,Statue 转为 In Service 之后,表示模型部署成功。

在这里插入图片描述

2.3、运行推理Yi-1.5-9B模型

部署成功后,下面来运行推理Yi-1.5-9B模型,体验一下模型的效果。
点击左侧Endpoints,然后进入模型,选择Test inference页面,在Testing Options中选择Test the sample request进行测试,下放的JSON可以通过调整推理参数进行生成结果的控制:

在这里插入图片描述
输入想要对话的内容后,点击Send Request,得到对应的结果

在这里插入图片描述
当然还可以通过SageMaker Python SDK 对模型进行调用,指定部署完成的 SageMaker Endpoint 名称(如 jumpstart-dft-hf-llm-yi-1-5-9b-chat-20240607-033836),即可快速进行调用并获取推理结果。

以下代码通过 SageMaker 预测服务调用模型进行预测。首先,从 SageMaker 导入了 retrieve_default 函数来获取一个预测器实例。然后,通过指定的端点名称创建预测器。接着,准备了包含输入文本和预测参数的 payload。调用预测器的 predict 方法,将 payload 发送给模型以获取预测结果,最后打印出模型的回答。

from sagemaker.predictor import retrieve_default

# replace with your own endpoint name
endpoint_name = "jumpstart-dft-hf-llm-yi-1-5-9b-chat-20240607-033836"
predictor = retrieve_default(endpoint_name)
payload = {
    "inputs": "You are a helpful assistant.<|im_start|>user\nWho won the world series in 2020?<|im_end|>\n<|im_start|>assistant\n",
    "parameters": {
        "max_new_tokens": 256,
        "temperature": 0.2,
        "return_full_text": False
    }
}

# non streaming mode
response = predictor.predict(payload)
print(response)

三、体验总结

通过实验,可以看到,Amazon SageMaker JumpStart 提供了一种高效的方法来访问和利用这些强大的模型。借助 Amazon SageMaker JumpStart 可以很轻松的访问 Yi-1.5 6B,9B 和 34B 的 Base 和 Chat 优化的 6 个基础模型,除此之外,还可以访问来自 Meta、AI21Labs 和 HuggingFace 等公司的先进模型。无论是构建对话系统还是处理复杂的文本任务,Yi 1.5 模型都能提供强大的支持。

在这里插入图片描述
现在注册亚马逊云科技海外账号,立即就可以免费使用这些便捷服务。作为新注册的用户,除了免费的Amazon SageMaker,还有丰富的亚马逊云服务器(Amazon EC2)、亚马逊云科技云存储(Amazon S3),负载均衡(Elastic Load Balancing),虚拟服务器VPS(Amazon Lightsail)、视频会议(Amazon Chime )等等100 余种云产品或服务免费试用。

在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

中杯可乐多加冰

请我喝杯可乐吧,我会多加冰!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值