『亚马逊云科技产品测评』活动征文 | 通过SageMaker JumpStart快速部署Llama2

授权声明：本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在 Developer Centre, 知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官方渠道

背景

最近在看亚马逊时发现了Amazon SageMaker JumpStart 中提供了Llama2模型，所以马上在 Amazon SageMaker JumpStart 部署了Llama2 体验下

先了解一下基本概念

Amazon SageMaker
Amazon SageMaker 是一个机器学习（ML）中心，提供预训练模型、内置算法和预构建解决方案，我们可以快速开始使用机器学习。

Amazon SageMaker Studio
Amazon SageMaker Studio 是一个集成式开发环境（IDE），它提供了一个基于 Web 的可视化界面，可以通过该界面执行所有 ML 开发步骤，包括快速上传数据、创建新笔记本、训练和调优模型，在步骤之间来回移动以调整实验、对比结果以及将模型部署到生产环境中，而且上述所有工作都在一个地方完成，大大提升了工作效率。

SageMaker JumpStart
SageMaker JumpStart是亚马逊云的一项强大工具，它提供了预先构建好的机器学习模型和工作流程，以帮助开发者快速部署自己的应用。使用SageMaker JumpStart，我们可以跳过繁琐的模型训练和调优过程，直接开始构建专属的LLM应用。

部署Llama2

一、设置SageMaker Studio

运行 JumpStart 之前，我们需要设置 Studio，如果之前已经设置过的，就可以跳过这个设置步骤。直接启动Studio

点击机器学习，Amazon SageMaker 进入Amazon SageMaker控制台

创建SageMaker 域

这里我是第一次进入Studio中，所以需要创建一个SageMaker 域

创建SageMaker 域有两种设置模式，快速设置和标准设置。

我这里选择快速设置，设置域的过程可能需要3-5分钟

这样我们就创建了一个Studio。最后，启动Studio。

二、SageMaker JumpStart 一键部署

登录到Studio后，我们会看到类似下面的页面

在导航窗格中的 SageMaker JumpStart 下，选择模型、notebook、解决方案。

这里我们可以看到一系列解决方案，根基模型。我们可以搜索自己感兴趣的模型，可以点击模型进入对应的模型页面。

在这里我们使用了 Llama-2-7b 的模型。

点击 Llama-2-7b，我们进入模型页面，你可以通过 Deployment Configuration 修改对应部署的实例类型，这里我使用默认的 Sagemaker 设置并按原样部署模型。

点击 Deploy 即可以部署相关模型，等待部署完成。这个过程可能需要5-10分钟。

提醒一下，这会部署到一个实时的持久端点， 后续不用的时候记得要删除Sagemaker模型端点，以避免产生不必要的费用。

部署完成后，控制台 SageMaker 页面中的“终端节点”标签下，我们可以看到目前已经被启动的推理端点。

三、使用提供的演示笔记本来查询新的 JumpStart 端点

部署端点后，单击 Open Notebook（打开笔记本）按钮以打开笔记本。

我们会看到一个类似以下屏幕截图的页面，按屏幕截图中的说明单击 Play（运行）图标，运行代码块

等待一段时间之后，我们就可以看到推理结果。

现在我们已使用预训练的 Llama-2-7b 模型部署模型端点，我们可以在Notebook中进行测试了。

总结

这样我们就了解了如何使用JumpStart 来快速构建、训练和部署机器学习模型。如果你也想要快速实现你的机器学习想法，那么你可以尝试一下SageMaker JumpStart。

注：记得使用结束之后要 在SageMaker 控制台->推理->端点删除之前创建端点，以免产生不必要的费用