大型语言模型在AMD GPU上的推理优化

最新推荐文章于 2025-03-25 11:47:04 发布
最新推荐文章于 2025-03-25 11:47:04 发布
阅读量1.4k 收藏 23
点赞数 25
分类专栏： 人工智能 # ROCm # python 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eidolon_foot/article/details/139730499
版权

Large language model inference optimizations on AMD GPUs — ROCm Blogs

大型语言模型（LLMs）已经改变了自然语言处理和理解，促进了在多个领域中的众多人工智能应用。LLMs在包括AI助手、聊天机器人、编程、游戏、学习、搜索和推荐系统在内的多个领域具有各种有前景的用例。这些应用利用LLMs的能力提供个性化和互动的体验，增强了用户的参与度。

LLMs使用变换器架构来解决梯度消失和爆炸的问题。该架构允许轻松并行化自我关注，使其能够有效地利用多个GPU。其他架构，如递归神经网络（RNN）及其变体（例如LSTM和GRU），在处理长单词序列时存在困难。

尽管具有令人印象深刻的能力，但像GPT和Llama这样的LLMs在用于商业应用之前需要积极的优化，由于它们的大参数规模和自回归顺序处理行为。已经做了许多努力，通过使用GPU的计算容量（TFLOPs）和内存带宽（GB/s）来提高LLMs的吞吐量、延迟和内存占用。

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
使用OpenLLM在AMD GPU上的分步指南
数字人生
06-11 1245
让我们开始创建一个自定义Docker镜像，该镜像将作为我们OpenLLM服务器的运行环境。我们利用vLLM ROCm支持来为我们的OpenLLM服务器构建自定义Docker镜像。首先，克隆官方的vLLM GitHub仓库。在`vllm`目录内，让我们修改`Dockerfile.rocm`文件的内容。在`CMD ["/bin/bash"]`最后指令之前（在第107到109行之间）添加以下代码。# 安装OpenLLM和额外的Python包# 设置在运行OpenLLM时想要看到的设备。
LLM 推理的核心指标
Learning
08-12 2934
LLM 推理的核心指标：TTFT 首 Token 延迟、TPOT 每个Token延迟、Latency延迟、Throughput：吞吐量
大模型系列12-KV Cache
字节跳动 内推找我
12-14 975
预填充性能评估指标：TTFT（time to first token）TTFT 即生成首个标记的时间，是预填充阶段关键评估指标。实际应用中，通常会设定 TTFT SLO，这是对系统的性能要求，只有系统满足该指标，其性能才达标。例如，设定 P90 TTFT SLO 为 0.4 秒，即要求系统 90% 的请求其 TTFT 值小于等于 0.4 秒。解码性能评估指标：TPOT（time per output token）TPOT 是生成每个输出标记的时间，是解码阶段重要评估指标。
大语言模型参数指标详解
最新发布
关于我的学习记录
03-25 1798
（这张图是AI生成的，看着还行～）
LLM - Baichuan-13B 多卡加载与推理测试
BITDDD小栈
08-29 9385
大模型量化加载与多卡推理配置与实践。
构建LLM应用：构建LLM服务（第九部分）
AI公园
07-18 575
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Vipra Singh编译：ronghuaiyang导读LLM Serving指的是部署和运行大型语言模型（LLMs）以处理用户请求的过程。它涉及到将通常离线训练的LLM设置为实时响应查询。LLM Serving指的是部署和运行大型语言模型（LLMs）以处理用户请求的过程。它涉及到将通常离线训练的LLM设置为实时响应查询。以下是LLM...
​百川智能：深度学习大模型推理性能优化策略，零基础入门到精通，收藏这篇就够了
leah126的博客
12-01 1563
量化投机采样TTFT 与 TPOT 的优化通信优化分享嘉宾｜肖彬 百川智能 高级专家编辑整理｜杨凯玥内容校对｜李瑶出品社区｜DataFun。
一文详解大模型推理：从基础知识到 vLLM
2401_85375151的博客
10-28 2881
希望第一个Token的时间（TTFT）非常短。如今，用户期望任何应用程序的响应时间理想情况下都要快于1秒。因此，用户等待开始接收第一个token的时间越短越好。这对于期望互动的聊天机器人尤为重要。TTFT的长度受许多因素影响，关键因素是预填充阶段的计算（提示的预处理）以及请求在用户请求接收后是否立即处理或是否需要在队列中等待。重要的是要注意，在没有负载的服务器上，TTFT可能与在负载很重的服务器上非常不同。
深度学习大模型推理性能优化策略
Baichuan_AI的博客
11-26 1528
1. 量化；2. 投机采样；3. TTFT 与 TPOT 的优化；4. 通信优化。
私有化部署大模型推理性能分析
wangli的博客
03-02 1635
从用户感知角度分析私有化部署的大模型推理性能，这里的用户感知包括响应速度、生成速度、系统可用性以及系统稳定性。核心性能指标对用户感知的影响包括1、延迟指标2、吞吐量指标3、资源利用4、并发能力性能指标与用户感知的映射关系从网上搜索了一些信息汇总，
在AMD GPU上进行Grok-1模型的推理
数字人生
08-18 1345
xAI公司在2023年11月发布了Grok-1模型，允许任何人使用、实验和基于它构建。Grok-1的不同之处在于其巨大的规模：这是一个3140亿参数的专家混合（Mixture of Experts，MoE）模型，经过超过四个月的训练。一些关键技术细节包括：- 专家混合（MoE）架构，每个token激活2个专家。- 64层。- 48个注意力头（attention heads）。- 最大序列长度（上下文窗口）为8192个token。- 嵌入大小为6144。
在AMD GPU上使用DBRX Instruct
数字人生
08-28 1383
'''在这方面，我们看到虽然它在总结文章的关键点上做得不错，但提供的具体例子（如微分方程和群论）实际上并不存在于原文中。这个例子表明DBRX会有一定的幻觉倾向。
玩转大语言模型——Ubuntu系统环境下使用llama.cpp进行CPU与GPU混合推理deepseek
艾醒的博客
03-04 580
llama.cpp是一个基于C/C++的开源项目，旨在高效地运行大型语言模型推理。纯采用纯C/C++编写，不依赖其他外部库，可移植性强，只要环境支持C/C++运行，就能运行llama.cpp。支持Apple芯片，通过ARM NEON等框架进行优化；支持x86架构的AVX等指令集；提供自定义CUDA内核，支持NVIDIA、AMD等GPU，还支持Vulkan和SYCL后端，可实现CPU+GPU混合推理。除此之外还支持1.5位到8位的整数量化，加快推理速度并减少内存使用，便于在资源有限的设备上运行。
LLM推理速度快速预估
m0_59235699的博客
09-12 2145
原文：www.jinghong-chen.net/estimate-vram-usage-in-llm-inference通过几行计算，您就能估算出大语言模型（LLM）推理所需的首token时间（TTFT）、每输出token时间（TPOT）以及显存的需求。我将以Llama-7B为实例，向您展示具体操作方法。LLM推理主要分为两个阶段：预填充和解码。在预填充阶段，模型处理输入上下文，并计算其embedding表示。而在解码阶段，模型则基于输入上下文和之前已生成的所有令牌，逐个生成新的令牌。
理解 LLM 推理过程
MengyuyangEddy的博客
04-11 8126
参考重复这两个步骤直到生成 EOS token 或达到用户设定的停止条件（stop token 或最大 token 数）。让我们以 Llama2-7B（4096 序列长度，float16精度）为例，计算一下 batch_size = 1的理想推理速度。
私有化部署DeepSeek等大模型的性能估计
2401_85390073的博客
03-19 859
GPU利用率：当我们谈GPU利用率的时候，一般指的是GPU计算能力的使用率，由于现在的通信能力升级的速度远远跟不上计算能力升级速度，使得通信变成瓶颈，GPU算力因为通信不给力，数据传输不到，经常处于等待的状态。网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。同时因为调度和通信的关系，一般没办法打满一张GPU的全部算力。它和大模型本身，推理使用的GPU，用了什么框架，prompt的长度，并发量等等都有关系，下面我们具体来看。
大模型~合集5
whaosoft143ai的博客
04-13 1340
华为96线激光雷达发布于2020年，虽然从指标上看，比现在的主流产品稍显落后，不过在相当多的技术方案上，和目前主流的激光雷达发展方向契合。2023年12月26日，华为发布192线激光雷达。华为192线激光雷达采用VCSEL+SPAD收发链路，以及转镜+电子扫描架构。具体参数：测距：250米（最远），180米（10%反射率）点云密度：184万点/秒水平角分辨率：0.25°（@20Hz扫描），0.125°（@10Hz扫描）垂直分辨率：0.1°扫描频率：最高20Hz。whaosoft aiot
如何在AMD GPU上部署Hugging Face模型？
03-20
<think>好的，我现在需要回答用户关于在AMD GPU上部署Hugging Face模型的方法。首先，我得理清用户的具体需求。用户提到了引用资料1到4，这些引用主要涉及vLLM、TGI部署、Hugging Face Accelerate以及OCI的Kubernetes引擎。我需要确保回答覆盖这些方面，并且步骤清晰。 第一步，我应该确认AMD GPU的环境准备。根据引用[1]和[2]，ROCm是必需的，所以需要指导用户安装ROCm驱动和PyTorch的ROCm版本。同时，可能还需要检查硬件兼容性，比如支持的GPU型号，例如MI系列或Radeon系列。 接下来，用户可能需要使用不同的工具进行部署，比如TGI（Text Generation Inference）。引用[3]提到了如何在AMD GPU上使用TGI部署LLM，所以需要详细说明安装步骤，包括Docker的使用和启动命令。这里要确保命令正确，比如指定正确的镜像和参数。 然后，Hugging Face Accelerate也是一个重点，引用[4]提到了在OKE上使用AMD GPU进行Stable Diffusion XL的部署。这部分需要解释如何配置Accelerate的多GPU支持，以及可能涉及的YAML文件调整，适用于Kubernetes环境。 另外，vLLM也是一个高效的推理库，引用[1]和[2]指出其在AMD GPU上的优化。需要说明如何安装vLLM并加载模型，可能还需要示例代码来展示推理过程。 还需要考虑优化策略，比如量化、动态批处理等，这部分引用[2]有提到，可以强调这些方法如何提升性能。此外，监控和维护也是部署后的重要步骤，需要简要提及日志和资源监控工具。 最后，生成相关问题时要覆盖教程、优化、对比不同工具以及微调等方面，确保用户能进一步探索相关主题。 在整理这些步骤时，要确保每个部分都引用正确的来源，比如TGI部署引用[3]，vLLM引用[1][2]，Kubernetes部分引用[4]。同时，保持语言简洁，结构清晰，分点说明，方便用户逐步操作。需要避免技术术语过多，但又要准确，比如正确使用ROCm版本号，确保命令的可执行性。 可能遇到的挑战是不同工具的兼容性，比如TGI对AMD GPU的支持是否有限制，或者ROCm版本与PyTorch的对应关系。因此，在教程中需要明确版本要求，或引导用户查阅官方文档以获取最新信息。 总结来说，回答需要涵盖环境准备、多种部署工具的使用（TGI、vLLM、Accelerate）、优化策略和监控维护，每个步骤附带具体命令和引用，最后生成相关问题帮助用户深入。需要多次检查命令的正确性和引用对应关系，避免错误。</think>以下是在AMD GPU上部署Hugging Face模型的详细方法和教程，整合了ROCm生态系统的最佳实践： ### 一、环境准备 1. **安装ROCm驱动** 需安装与GPU型号匹配的ROCm版本（如5.7），支持MI系列和Radeon Pro系列显卡[^1][^2]： ```bash sudo apt install rocm-hip-sdk ``` 2. **配置PyTorch环境** 安装支持ROCm的PyTorch版本： ```bash pip3 install torch torchvision --index-url https://download.pytorch.org/whl/rocm5.7 ``` 3. **验证硬件识别** 运行`rocm-smi`命令确认GPU识别状态。 --- ### 二、使用Text Generation Inference (TGI) 部署 1. **拉取TGI Docker镜像** 使用AMD优化的镜像： ```bash docker pull ghcr.io/huggingface/text-generation-inference:1.1.0+rocm ``` 2. **启动模型服务** 以Llama 2为例的部署命令： ```bash docker run -p 8080:80 --device=/dev/kfd --device=/dev/dri \ -v $PWD/data:/data \ ghcr.io/huggingface/text-generation-inference:1.1.0+rocm \ --model-id meta-llama/Llama-2-7b-chat-hf \ --quantize bitsandbytes-nf4 \ --max-input-length 4096 ``` 支持`--sharded true`参数实现多GPU并行[^3]。 --- ### 三、通过Hugging Face Accelerate部署 1. **配置多GPU加速** 使用accelerate配置文件： ```python from accelerate import init_empty_weights, load_checkpoint_and_dispatch model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b") model = load_checkpoint_and_dispatch(model, "checkpoints/", device_map="auto") ``` 2. **Kubernetes集群部署** 参考OCI Kubernetes Engine (OKE)配置模板[^4]： ```yaml resources: limits: amd.com/gpu: 4 requests: amd.com/gpu: 4 ``` --- ### 四、vLLM推理优化方案 1. **安装vLLM** ```bash pip install vllm>=0.3.0 ``` 2. **编写推理代码** ```python from vllm import LLM, SamplingParams llm = LLM(model="meta-llama/Llama-2-7b", tensor_parallel_size=4) print(llm.generate(["AI的未来发展方向是"])) ``` 支持动态批处理和持续批处理优化[^2]。 --- ### 五、性能优化策略 1. **量化压缩** 使用8-bit/4-bit量化： ```python model = AutoModelForCausalLM.from_pretrained(..., load_in_4bit=True) ``` 2. **内核优化** 启用FlashAttention和定制MIOpen内核： ```bash export HIP_ENABLE_FP32_ALLOW_CONVERSION=1 ``` --- ### 六、监控与维护 1. 使用`rocprof`进行性能分析 2. 配置Prometheus监控GPU显存使用 3. 日志集成到ELK Stack
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

109702008

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值