一文看懂：本地运行迄今为止最大最出色的开源人工智能模型Llama 3.1

1.背景

北京时间，2024 年 7 月 23 日 23 点，Meta 正式发布了其最新的开源模型 - Llama 3.1, 包含8B、70B 和 405B 三个尺寸，最大上下文提升到了 128k。

其中，405B 是其迄今最强大的模型，从评分上看，超过了 GPT-4 0125，和 Claude 3.5 不相上下。

Llama 3.1 使用了超过 15 T token 的公开数据进行训练，使用了超过 1.6 万个 H100 GPU。

其训练思路选择标准的仅解码器 transformer 模型架构进行调整，而不是混合专家模型，以最大化训练稳定性。采用了迭代的后训练程序，每一轮使用监督微调和直接偏好优化。

在后期训练中，Llama 通过进行多轮对齐来生成最终的聊天模型。每一轮都涉及到监督微调（SFT）、拒绝抽样（RS）和直接偏好优化（DPO）。使用合成数据生成绝大部分的 SFT 示例，多次迭代以生成质量更高的合成数据，覆盖所有能力。

趣闻：7月22日下午，405B 的 Llama 疑似在 Hugging Face 被偷跑，并在 Twitter 上引起了一小波的轰动（但这个链接已经访问不到了）。更有好事者将其转化成了磁力链接，大概 800G 大小

2.第一步：安装 Ollama

Ollama 是一款获取并运行 Llama 3.1、Mistral、Gemma 2 和其他大模型的集成工具。

2.1.macOS

Download

2.2.Windows

Download

2.3.Linux

运行此行命令安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

3.第二步：启动 Ollama

本文示例基于 macOS 系统，Windows和Linux系统下的操作与之大同小异。

下载并安装Ollama后，通过启动台点击“Ollama”程序图标启动Ollama程序，启动后打开终端，运行以下命令确保Ollama正常启动。

ollama -v

如下图所示，正常输出版本号即代表Ollama已完成安装并启动。

4.第三步：拉取 Llama 3.1 大模型

Llama 3.1 包含8B、70B 和 405B 三个尺寸，对应的大模型文件尺寸分别是4.7GB、40GB和231GB，考虑到演示的目的和机器性能，我们使用8B的尺寸。

在终端运行以下命令拉取 Llama 3.1:8b 大模型到本地。

ollama pull llama3.1:8b

接着等待Llama3.1大模型下载完成，等待时长取决于自己的网络带宽

运行list命令，可展示本机已安装的大模型列表

ollama list

5.第四步：运行 Llama 3.1 大模型

运行 run 命令，运行llama3.1:8b 大模型

ollama run llama3.1:8b

接着，可以直接在终端中输入问题，与大模型对话

如图所示

如果想结束对话，输入“/bye”即可

/bye

至此，本地运行Llama 3.1大模型的步骤就是以上简单4步，如果你还想结合本地大模型搭建ChatGPT类似的Web界面，甚至结合Langchain从零开始开发AI Agent，请关注我，后续奉上更多AIGC和低代码相关的基础教程。

6.Ollama其他常用操作

• 查看本机当前运行中的大模型

ollama ps

• 停止运行大模型

在系统状态栏找到Ollama图标，点击“Quit Ollama” 即可退出Ollama服务。

• 删除本机大模型（从硬盘中抹除）

# ollama rm 模型名称
ollama rm llama3.1:8b