如何将LLaMA 3部署到生产中以及硬件要求?

最新推荐文章于 2025-03-26 14:25:27 发布

朝阳区靓仔_James

最新推荐文章于 2025-03-26 14:25:27 发布

阅读量1.5k

点赞数 26

文章标签： llama 人工智能数据库知识图谱机器学习 AI大模型

本文链接：https://blog.csdn.net/weixin_58753619/article/details/140022678

版权

Meta发布了 LLaMA 3 生成式 AI 模型，它已经显示出令人印象深刻的功能。
通过此分步指南了解如何安装 LLaMA 3 并将其部署到生产环境中。从硬件要求到部署和扩展，我们涵盖了您顺利实施所需了解的一切。

什么是LLaMA 3？

Meta 推出了 Llama 3 开源 AI 模型的初始版本，可用于文本创建、编程或聊天机器人。此外，Meta 还宣布计划将 LLaMA 3 纳入其主要社交媒体应用程序。此举旨在与其他AI助手竞争，例如OpenAI的ChatGPT、微软的Copilot和谷歌的Gemini。

与 Llama 2 类似，Llama 3 是一个可免费访问的具有开放权重的大型语言模型，由一家领先的人工智能公司提供（尽管它不符合传统意义上的“开源”）。

目前，Llama 3可以从Meta网站免费下载，有两种不同的参数大小：80亿（8B）和700亿（70B）。用户可以注册来访问这些版本。 Llama 3 提供两种变体：预训练，这是下一个令牌预测的基本模型；指令调整，经过微调以遵守用户命令。两个版本的上下文限制均为 8,192 个令牌。

Meta 首席执行官马克·扎克伯格 (Mark Zuckerberg) 在接受 Dwarkesh Patel 采访时提到，他们使用 24,000 个 GPU 集群训练了两个定制模型。 70B 模型使用大约 15 万亿个代币的数据进行训练，并且从未达到饱和点或能力极限。随后，Meta 决定专注于训练其他模型。该公司还透露，他们目前正在开发 Llama 3 的 400B 参数版本，Nvidia 的 Jim Fan 等专家认为该版本在 MMLU、GPQA、HumanEval、和数学。

据 Meta 称，Llama 3 已使用各种基准进行评估，包括 MMLU（本科水平知识）、GSM-8K（小学数学）、HumanEval（编码）、GPQA（研究生水平问题）和 MATH（数学应用题））。这些基准测试表明，8B 模型的性能优于开放权重模型，例如 Google 的 Gemma 7B 和 Mistral 7B Instruct，而 70B 模型则与 Gemini Pro 1.5 和 Claude 3 Sonnet 具有竞争力。

Meta 报告称，Llama 3 模型在理解编码的能力方面得到了改进，与 Llama 2 类似，并且首次使用图像和文本进行训练。然而，它当前的输出仅限于文本。

LLaMA 3 硬件要求和在 AWS EC2 上选择正确的实例

由于许多组织使用 AWS 来处理其生产工作负载，让我们看看如何在 AWS EC2 上部署 LLaMA 3。

实现 LLM 时存在多个障碍，例如 VRAM（GPU 内存）消耗、推理速度、吞吐量和磁盘空间利用率。在这种情况下，我们必须确保在 AWS EC2 上分配具有足够 VRAM 容量的 GPU 实例来支持模型的执行。

LLaMA 3 8B 在 FP16 中需要大约 16GB 磁盘空间和 20GB VRAM（GPU 内存）。您当然可以在 CPU 上部署 LLaMA 3，但对于现实生产用例来说延迟太高。至于LLaMA 3 70B，它需要大约140GB的磁盘空间和160GB的FP16 VRAM。

获得 LLaMA 3 8B 的 20GB VRAM 相当容易。我建议您配置 NVIDIA A10 GPU：该 GPU 配备 24GB VRAM，是基于 Ampere 平台的快速 GPU。在 AWS EC2 上，您应该选择 G5 实例才能配置 A10 GPU。 g5.xlarge 就足够了。

不过，部署 LLaMA 3 70B 模型更具挑战性。没有 GPU 具有足够的 VRAM 用于此模型，因此您需要配置多 GPU 实例。如果您在 AWS 上配置 g5.48xlarge 实例，您将获得 192GB VRAM（8 个 A10 GPU），这对于 LLaMA 3 70B 来说足够了。

在此类配置中，您预计会出现以下延迟（响应时间）：LLaMA 3 8B 在 1 秒内生成 50 个令牌，对于 LLaMA 3 70B 在 5 秒内生成 50 个令牌。

为了降低这些模型的运营成本并增加延迟，您可以研究量化技术，但请注意，此类优化可能会损害模型的准确性。量化超出了本文的范围。

为了配置此类实例，请登录 AWS EC2 控制台，然后启动新实例：在 g5.xlarge 或 g5.48xlarge 实例上选择 NVIDIA 深度学习 AMI。不要忘记配置足够的磁盘空间。

使用 vLLM 进行生产推理

vLLM 是一个专为快速、轻松的 LLM 推理和部署而设计的库。其效率归功于各种复杂的方法，包括用于优化管理注意力键和值内存的分页注意力、批量传入查询的实时处理以及个性化的 CUDA 内核。

此外，vLLM 通过采用分布式计算（使用张量并行性）、实时流以及与 NVIDIA 和 AMD 显卡的兼容性，提供了高度的适应性。

具体来说，vLLM 将极大地帮助部署 LLaMA 3，使我们能够利用配备多个紧凑型 NVIDIA A10 GPU 的 AWS EC2 实例。这比使用单个大型 GPU（例如 NVIDIA A100 或 H100）更有优势。此外，vLLM 将通过连续批量推理显着提高我们模型的效率。

设置 vLLM 非常简单。让我们与最近创建的 AWS 实例建立 SSH 连接，并使用 pip 安装 vLLM：
pip install vllm

由于我们计划在 8 x A10 GPU 上使用 vLLM 执行分布式推理，因此还需要安装 Ray：
pip install ray

如果您在安装时遇到兼容性问题，从源代码编译 vLLM 或使用其 Docker 映像可能会更简单：查看 vLLM 安装说明。

启动推理服务器

现在让我们创建 Python 推理脚本：

from vllm import LLM

# Use LLaMA 3 8B on 1 GPU
llm = LLM("meta-llama/Meta-Llama-3-8B-Instruct")

# Use LLaMA 3 70B on 8 GPUs
# llm = LLM("meta-llama/Meta-Llama-3-70B-Instruct", tensor_parallel_size=8)

print(llm.generate("What are the most popular quantization techniques for LLMs?"))

您可以运行上面的脚本。如果这是您第一次运行此脚本，您将需要等待模型下载并加载到 GPU 上，然后您将收到如下内容：

The most popular quantization techniques for Large Language Models (LLMs) are:
1. Integer Quantization
2. Floating-Point Quantization
3. Mixed-Precision Training
4. Knowledge Distillation

这很容易理解。您只需根据您拥有的GPU数量调整tensor_parallel_size即可。

我们现在正在寻求启动一个适当的推理服务器，能够管理大量请求并执行同时推理。首先，启动服务器：

对于 LLaMA 3 8B：

python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Meta-Llama-3-8B-Instruct

对于 LLaMA 3 70B：

python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct
--tensor-parallel-size 8

模型加载到 GPU 上最多需要 1 分钟。然后您可以启动第二个终端并开始发出一些请求：

curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
    "model": "meta-llama/Meta-Llama-3-8B-Instruct",
    "prompt": "What are the most popular quantization techniques for LLMs?"
}'

您现在拥有一个适合生产的推理服务器，由于连续批处理，它可以处理许多并行请求。在某些时候，如果请求数量过多，GPU 就会过载。在这种情况下，您将需要在多个 GPU 实例上复制模型并平衡您的请求（但这超出了本文的范围）。

结论

如您所见，借助 vLLM 等推理服务器，将 LLaMA 3 部署到生产中不需要任何复杂的代码。

然而，配置正确的硬件具有挑战性。首先是因为这些 GPU 非常昂贵，而且还因为目前全球 GPU 短缺。如果这是您第一次尝试在 AWS 上配置 GPU 服务器，您可能没有创建 GPU 服务器的权限。在这种情况下，您需要联系支持人员并解释您的用例。在本文中，我们使用了 AWS EC2，但当然也可以使用其他供应商（Azure、GCP、OVH、Scaleway…）。

部署 LLaMA 3 8B 相当容易，但 LLaMA 3 70B 则是另一头野兽。考虑到所需的 VRAM 量，您可能需要配置多个 GPU 并使用 vLLM 等专用推理服务器，以便将模型拆分到多个 GPU 上。

LLaMA 3 8B 在 FP16 中需要大约 16GB 磁盘空间和 20GB VRAM（GPU 内存）。至于LLaMA 3 70B，它需要大约140GB的磁盘空间和160GB的FP16 VRAM。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述