本地大语言模型部署及应用

01  模型

2024-07-24，Meta 正式发布新一代开源大模型 Llama 3.1 系列，该模型共有三个版本：

• 8B
• 70B
• 405B

meta评估了超过 150 个语言覆盖范围广的基准数据集。比较了 Llama 3.1 与竞争性模型在真实世界场景下的表现。实验评估表明，Llama 3.1 405B在一系列任务中与领先的基础模型相比具有竞争力，包括 GPT-4、GPT-4o 和 Claude 3.5 Sonnet。来源：Meta（https://ai.meta.com/blog/meta-llama-3-1/）

此外，8B本部和70B版本模型与参数数量相似且封闭或开放的模型相比也具有竞争力。

02  本地安装

1.本地电脑安装的硬件要求

Windows：3060以上显卡+8G以上显存+16G内存，硬盘空间至少20G（也可以在 CPU 上运行时基于内存 (RAM) 速度的模型 ，不过推理速度较慢）

Mac：M1或M2芯片 16G内存，20G以上硬盘空间

在开始之前，首先我们需要安装Ollama客户端，来进行本地部署Llama3.1大模型（Ollama 是一个便于本地部署和运行大型语言模型（Large Language Models, LLMs）的工具。）