Llama 3.1 70B推理功能快速体验

人工智能MOS

已于 2024-09-02 16:59:56 修改

阅读量280

点赞数 12

文章标签：人工智能 LLM 计算机视觉大模型自然语言处理 ai大模型 LLaMA3

于 2024-09-02 16:59:42 首次发布

本文链接：https://blog.csdn.net/2301_81887304/article/details/141824055

版权

一、模型简介

Meta Llama 3.1 系列是一个多语言大型语言模型 (LLM) 集合，包括 8B、70B 和 405B 三种尺寸（文本输入/文本输出）。Llama 3.1 的指令调优版本（8B、70B、405B）针对多语言对话用例进行了优化，并在常见的行业基准测试中超越了许多现有的开源和闭源聊天模型。

Llama 3.1 支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。它在多语言任务中表现出色，并具有增强的推理、数学和代码执行能力。这使其适用于从文本生成到更具体任务（如数学问题解决和代码辅助）的广泛应用。

二、模型架构

Llama 3.1 是一个自回归语言模型，采用了优化的 Transformer 架构。调优版本使用监督式微调（SFT）和基于人类反馈的强化学习（RLHF）来调整模型以更加符合人类对有效性和安全性的偏好。

在这里插入图片描述

三、模型性能

Llama 3.1 经过了超过 150 个基准数据集的性能测试，Meta比较了它与其他模型在现实情况中的表现。结果显示，405B 模型在包括 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 在内的一系列任务中与领先的基础模型具有竞争力。此外，较小模型在与具有相似参数数量的封闭和开放模型的比较中也表现出色。’

在这里插入图片描述

四、部署实践

本文是Llama3.1-70B-Instruct的聊天部署教程，实践平台是趋动云：https://account.virtaicloud.com/gemini_web/auth/login

4.1启动项目

登录趋动云后，在项目界面（登录后自动跳转）左上角，找到“社区”选项，单击后进入社区首页：

在这里插入图片描述

在社区首页中，在界面上部选择“项目”，找到名为“Meta新开源【Llama3.1-70B-Instruct】聊天部署教程”的项目

在这里插入图片描述

进入Meta新开源【Llama3.1-70B-Instruct】聊天部署教程项目界面后，点击右上角的“运行一下”

之后跳出的2选项默认都点确定

在这里插入图片描述

等待克隆完成：

在这里插入图片描述

推荐的GPU默认点确定（立即运行）：

在这里插入图片描述

4.2运行项目：

等待环境启动成功后，启动开发环境。开发环境启动成功后，双击打开页面左侧的项目简介：

在这里插入图片描述

下面操作可以参考Jupyter Notebook里的教程。

4.3使用swift webui 进行聊天对话

切换到终端，

在这里插入图片描述

输入下面的指令：
swift web-ui --host 0.0.0.0

运行完毕，出现下图所示的结果，点击右侧“端口”，再点击“添加端口”，注意不要直接点击划线出的链接，直接点点不开

在这里插入图片描述

在添加端口界面，“内部端口”输入7860，是上一张图划线链接最后4位数字，“使用用途”随便输点，第1栏默认为“TCP”

在这里插入图片描述

之后复制生成的连接，打开：

在这里插入图片描述

4.4 部署、使用模型

点击“llama部署”，“选择模型”默认为“训练后的模型”，模型地址输入“/gemini/code/swift/examples/pytorch/llm/output/llama3_1-70b-instruct/v0-20240805-164838/checkpoint-500”，选择GPU推荐把0、1、2、3都选上，切记不要选CPU

在这里插入图片描述

之后点击部署模型，再点击“展示部署状态”可查看部署进展

在这里插入图片描述

训练完毕

在这里插入图片描述

之后就可以在下面的“请输入”一栏中输入内容，再点击发送就可以开始聊天了，注意该模型是没有处理图片功能的，因此上传图片对话不可行。

在这里插入图片描述

4.5 Transformers推理

该部分是独立于前3步的，无需上述步骤也可使用，直接运行2.2Transformers推理的代码框，即可输出推理结果（不建议使用，耗时长，大约25——30分钟，而且回答不准确）

在这里插入图片描述

若想反复体验推理的话，建议把message后面的代码剪切到下一单元格内，这样在运行完第1次推理后，后续只需运行message所在的代码框即可输出结果

在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望