Llama 3.1 70B推理功能快速体验

一、模型简介

Meta Llama 3.1 系列是一个多语言大型语言模型 (LLM) 集合，包括 8B、70B 和 405B 三种尺寸（文本输入/文本输出）。Llama 3.1 的指令调优版本（8B、70B、405B）针对多语言对话用例进行了优化，并在常见的行业基准测试中超越了许多现有的开源和闭源聊天模型。

Llama 3.1 支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。它在多语言任务中表现出色，并具有增强的推理、数学和代码执行能力。这使其适用于从文本生成到更具体任务（如数学问题解决和代码辅助）的广泛应用。

二、模型架构

Llama 3.1 是一个自回归语言模型，采用了优化的 Transformer 架构。调优版本使用监督式微调（SFT）和基于人类反馈的强化学习（RLHF）来调整模型以更加符合人类对有效性和安全性的偏好。

三、模型性能

Llama 3.1 经过了超过 150 个基准数据集的性能测试，Meta比较了它与其他模型在现实情况中的表现。结果显示，405B 模型在包括 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 在内的一系列任务中与领先的基础模型具有竞争力。此外，较小模型在与具有相似参数数量的封闭和开放模型的比较中也表现出色。

四、推理实践

本文的Llama 3.1 70B推理功能快速实践，实践平台还是趋动云：趋动云

1、启动项目

登录趋动云后，在项目界面左上角找到“社区”选项

点击后进入社区首页

点击界面上方的项目后，下拉找到“Meta最新开源【Llama3.1-70B-Instruct】基础用法和 swift 部署训练”项目，双击打开

单机右上角运行一下：

之后跳出的选项默认都点确定

等待环境克隆完成

后面亲测P2.2xlarge也行，不用选择推荐的GPU型号

2、运行项目

等待环境启动成功后，启动开发环境。开发环境启动成功后，双击打开页面左侧的项目简介：

单击2.1的代码框，点击运行：

项目运行中，大概需要20——30分钟左右，会输出推理结果

3、反复推理简化

将message后代码剪切到下一单元格内，在运行完第1遍后，反复推理只需运行message所在代码框即可，无需重复加载模型也可输出推理结果，大大节省时间：

拆分一下：

这样反复推理更方便快捷