B站up主全程教学趋动云部署大模型：Meta新开源【Llama3.1-70B-Instruct】！

Llama 3.1 的指令调优版本（8B、70B、405B）针对多语言对话用例进行了优化，在比8种支持语言更广泛的语言集合上进行了训练，预训练模型可以适应多种自然语言生成任务。

Llama 3.1 模型集合还支持利用其模型的输出来改进其他模型，包括合成数据生成和数据蒸馏。

• Github：https://github.com/meta-llama/llama-recipes

• Huggingface：https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct

• 论文解读：https://blog.csdn.net/v_JULY_v/article/details/140659420

• Bilibili视频教程：https://www.bilibili.com/video/BV1UpWseqEZ8/?share_source=copy_web&vd_source=b0f955de54d5b3c9ee686cfa6ee68292

Llama-3.1-70B-Instruct模型已经在趋动云『社区项目』上线，无需手动完成环境的配置、模型的下载，为正在部署Llama3.1的朋友们构建好了镜像，操作简单，可一键部署，快来体验Llama带来的精彩聊天体验吧！

• 视频教程：

轻松实现Llama 3.1 70B一键推理

• 项目入口：https://open.virtaicloud.com/web/project/detail/473338347986022400

一键激活，立即体验

进入Meta新开源【Llama3.1-70B-Instruct】聊天部署教程项目主页，点击运行一下，即可将项目一键克隆至工作空间，使用社区项目推荐的算力规格，可以直接立即运行。

配置完成，点击进入开发环境，可根据项目简介进行后续步骤的部署，当然小木头老师和以下教程也给大家展示了终端运行方式。

使用swift webui 进行聊天对话：

在网页终端运行swift web-ui --host 0.0.0.0

开启WebUI

在工作台的右侧【端口】处添加端口【7860】，添加好端口后，打开【外部访问】里的链接，即可在其他主机上打开该网址。

部署推理示例如下：

Transformers推理

在网页终端新建一个python文件，输入vi transformers_demo.py

复制项目简介中2.2 Transformers推理部分的代码到vi编辑器中，保存并退出（vi编辑器保存退出方法：Shift+：+wq）

运行 python transformers_demo.py 即可完成推理：

➫温馨提示： 完成项目后，记得及时关闭开发环境，以免继续产生费用！

智汇全球，趋动未来

『社区项目』汇聚全球智慧，促进技术交流的宝贵平台，期待每一位AI爱好者体验一键部署功能的强大魅力。

同时，我们也热切盼望每一位码友加入，分享您的精品作品，共筑这个充满活力与创新的技术乐园。