授权声明:本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 Developer Centre, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道
背景
之前一直使用的是 ChatGPT,没有关注过其他的模型,最近Meta开源了LLama 2模型,它已经过预训练,并使用多达700亿个参数进行了微调。擅长处理众多领域的复杂推理任务,包括编程和创意写作等专业领域。而AWS可以通过 Lambda 服务 和AWS API Gateway将Llama 2 暴露出来,通过Api的方式来进行调用。所以这次就通过python来调用接口在本地构建一个基于LLama 2的聊天机器人
准备工作
托管Llama 2模型
托管 Llama 2 的基本概要如下:
1、创建Amazon SageMaker域
2、在SageMaker Studio中搜索Llama-2-7b-chat模型
3、Deploy 模型
- 创建域
- 在SageMaker Studio 中使用SageMaker JumpStart快速创建Llama-2-7b-chat