大模型入门系列（三）大模型的安装部署——Llama3.1安装

一、 Llama3.1安装

Llama 3.1共发布8B、70B 和 405B 三个尺寸。能力全面提升，原生支持8种语言，最长上下文窗口128k。其中超大杯405B包含4050亿个参数，是首个“前沿级别开源AI模型”，也是近年来规模最大LLM之一。

在通用常识、可引导性、数学、工具使用和多语言翻译等广泛任务中足以对标GPT-4、Claude 3.5 Sonnet等领先闭源模型。

Llama 3.1 8B和70B也在老版本基础上进行了推理能力和安全性升级，除多语言和上下文扩展外，还支持更多诸如长文本总结、多语言对话代理和编程助手等高级用例。

主要亮点包括：

• 模型架构：延续Llama 3的标准解码器 transformer 架构，以最大化训练稳定性。

• 巨量数据：405B在15万亿token（相当于7500亿个单词）上训练，结合2500万合成数据微调。包含了更多的非英语资料、 “数学数据”和代码、以及最近的网络数据。

• 指令微调：后训练中每一轮都使用监督微调和直接偏好优化来迭代，并通过多轮对齐来改进模型的指令跟随能力和安全性，生成最终的聊天模型。

• GPU规模：使用超过 1.6 万个 H100 GPU，时长高达惊人的3930万GPU小时。

• 预训练知识库：更新至2023年12月。

• 多语言支持：涵盖英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语

此外，所有Llama 3.1模型都可以使用第三方工具、应用程序和API来完成任务。支持零样本条件下的工具调用和操作，显著提升任务处理的灵活性和效率。

1. 安装环境

1. NVIDIA GeForce RTX 3090 显卡（安装CUDA Version: 12.3）
2. 硬盘1T
3. Cpu16核
4. 内存32g
5. Ubuntu 22.04.3

2. 依赖下载

1. 在https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载Anaconda3-5.0.0-Linux-x86_64.sh

2. 从魔塔社区下载llama3.1模型文件：
   https://hf-mirror.com/shenzhi-wang/Llama3.1-8B-Chinese-Chat（中文的模型文件）模型文件或者

3. https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct/（原版开源的模型文件）

3. 安装测试

1. conda create -n llama3.1new python=3.12
2. conda activate llama3.1new
3. pip install requests
4. pip install tqdm
5. 手工编写如下测试代码llamachat.py (一般会通过openapi形式提供服务，所以测试代码比较简单):

实际用openai 形式 利用chatglm3的openai 修改如下两个文件：

---

二、如何学习大模型？

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

5. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

如有侵权，请联系删除