Llama 3.1模型API部署调用
为了将Llama 3.1模型的能力发布分享给其他用户,我们采用FastAPI框架来发布一个API服务。FastAPI是一个现代、快速(高性能)的Web框架,用于构建API与Python类型提示的强大组合。它使得设计、构建、测试和部署API变得简单快捷。
首先,我们创建了一个名为fastapi-test.py的文件,这个文件将包含启动和运行我们的API服务所必需的代码。
1、代码准备
2、启动API服务
在终端输入以下命令启动api服务:
加载完毕后出现如下信息说明成功。
3、curl命令调用API
默认部署在 6006 端口,通过 POST 方法进行调用,可以使用 curl 调用,如下所示:
输出:
4、python代码调用API
也可以使用 python 中的 requests 库进行调用,如下所示:
得到的返回值如下所示:
文章最后
AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。
学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。