支持AMD GPU的llm.c

最新推荐文章于 2025-04-04 20:30:28 发布
最新推荐文章于 2025-04-04 20:30:28 发布
阅读量1.1k 收藏 19
点赞数 18
分类专栏： 人工智能 # ROCm 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eidolon_foot/article/details/139366305
版权

anthonix/llm.c: LLM training in simple, raw C/HIP for AMD GPUs (github.com)

llm.c for AMD devices

This is a fork of Andrej Karpathy's llm.c with support for AMD devices.

性能

在单个7900 XTX显卡上使用默认设置，目前的训练步骤耗时约为79毫秒，相比PyTorch的夜间版本（2.4.0.dev20240513）的约97毫秒，以及tinygrad的约440毫秒来说，表现更优。

对于多GPU训练，在装有四个7900 XTX显卡的机器上，吞吐量达到了每秒约210,000个令牌。

更新（2

了解本专栏 订阅专栏 解锁全文 超级会员免费看
vllm专题（一）：安装-GPU
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-16 485
vLLM 是一个 Python 库，支持以下 GPU 变体。vLLM 包含预编译的 C++ 和 CUDA（12.1）二进制文件。vLLM 支持配备 ROCm 6.3 的 AMD GPU。此设备没有预构建的 wheel 包，因此您必须使用预构建的 Docker 镜像或从源代码构建 vLLM。vLLM 初步支持在 Intel GPU 平台上进行基本模型推理和服务。此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 vLLM。
增强在 AMD GPU 上的 vLLM 推理
数字人生
11-27 2839
在这篇博文中，我们简要讨论了 LLM 如 Llama 3 和 ChatGPT 如何生成文本，强调了 vLLM 在提升吞吐量和减少延迟方面的作用。我们介绍了如何在 KV 缓存中以 FP8 格式存储值，优化矩阵乘法以实现更快的计算，以及如何在 FP8 中执行完整的推理。通过这些最新的增强功能，我们展示了 ROCm 6.2 如何显著加速你的 vLLM 工作负载。
使用 AMD GPU 部署和推理 vLLM
数字人生
11-25 1936
在快速发展的人工智能领域，大型语言模型（LLM）已经成为理解和生成类人文本的强大工具。然而，高效地大规模部署这些模型仍然存在重大挑战。这时，vLLM 便应运而生。vLLM 是一个创新的开源库，旨在通过先进技术优化 LLM 的服务。vLLM 的核心是 PagedAttention，这是一个新颖的算法，它通过将注意力机制管理为虚拟内存来提高模型的效率。这一方法优化了 GPU 内存的利用，便于更长序列的处理，并在现有硬件限制内更高效地处理大型模型。
在 AMD GPU 上使用 vLLM 的 Triton 推理服务器
数字人生
01-26 2004
在这篇博客中，我们展示了使用Triton推理服务器与vLLM后端部署和服务三个LLM。这些都由AMD GPU和ROCm软件平台提供支持。我们提供了一步步指南，介绍如何用Triton推理服务器高效处理多个LLM，展示了AMD硬件在高需求AI应用中的强大性能和可靠性。
利用免费 GPU 部署体验大型语言模型推理框架 vLLM
2201_75499313的博客
03-23 2657
vLLM 是一个快速且易于使用的 LLM（大型语言模型）推理和服务库。vLLM 之所以快速，是因为：最先进的服务吞吐量通过高效管理注意力键和值内存连续批处理传入请求使用 CUDA/HIP 图快速模型执行量化：GPTQ[1]、AWQ[2]、SqueezeLLM[3]、FP8 KV 缓存优化的 CUDA 内核vLLM 灵活且易于使用，因为它：与流行的 HuggingFace 模型无缝集成通过各种解码算法提供高吞吐量服务，包括并行采样、波束搜索等支持分布式推理的张量并行性支持流式输出。
使用OpenLLM在AMD GPU上的分步指南
数字人生
06-11 1243
让我们开始创建一个自定义Docker镜像，该镜像将作为我们OpenLLM服务器的运行环境。我们利用vLLM ROCm支持来为我们的OpenLLM服务器构建自定义Docker镜像。首先，克隆官方的vLLM GitHub仓库。在`vllm`目录内，让我们修改`Dockerfile.rocm`文件的内容。在`CMD ["/bin/bash"]`最后指令之前（在第107到109行之间）添加以下代码。# 安装OpenLLM和额外的Python包# 设置在运行OpenLLM时想要看到的设备。
llm.c项目 github
最新发布
zengxiaojian2的博客
04-04 567
我还认为这样做具有教育目的，可以建立专家上限和测量单位，例如，您可以说您手动编写的内核是 cuBLAS 速度的 80%，等等。如果有一个 PR 可以将性能提高 2%，但它“花费” 500 行复杂的 C 代码，甚至可能是一个奇特的第三方依赖项，我可能会拒绝该 PR，因为复杂性不值得。举一个具体的例子 - 将 cuBLAS 作为根训练循环中的 matmuls 默认值是明智之举：它使主线代码更快，它是一行可解释的代码，并且它是一种非常常见的依赖项。这是了解如何在 C 中实现这些层的一个很好的起点。
Nvidia 系列 之 在 Ubuntu 22.04 中为 LLM 设置 Nvidia GPU
iCloudEnd的博客
08-01 392
在开始安装之前，我们先来了解一下要安装的内容：Nvidia 驱动程序 — 这是 Nvidia 的硬件驱动程序。安装前请先了解您的显卡型号。CUDA 工具包 — CUDA 工具包由 Nvidia 提供。它包含 GPU 加速环境中的库、编译器、开发工具和示例、CUDA 运行时等。cuDNN — Nvidia cuDNN 以 CUDA 深度神经网络为基础。它是一个针对 DNN 计算的高度优化的 GPU 加速库。
在AMD GPU上进行Grok-1模型的推理
数字人生
08-18 1345
xAI公司在2023年11月发布了Grok-1模型，允许任何人使用、实验和基于它构建。Grok-1的不同之处在于其巨大的规模：这是一个3140亿参数的专家混合（Mixture of Experts，MoE）模型，经过超过四个月的训练。一些关键技术细节包括：- 专家混合（MoE）架构，每个token激活2个专家。- 64层。- 48个注意力头（attention heads）。- 最大序列长度（上下文窗口）为8192个token。- 嵌入大小为6144。
一文速览vLLM支持的大模型推理技术和优化
强化学习曾小健
07-08 2721
通过Marlin内核，我们能够实现对模型参数的量化，从而减少模型的存储空间和计算量，提高模型在部署和推理过程中的性能和效率。Marlin内核通过特定的算法和优化策略，能够在保持模型精度的同时，显著提升模型的推理速度，从而为用户提供更加快速和高效的推理体验。速度和效率： 在生成式任务中，传统的贪婪解码或束搜索算法可能需要完整地搜索整个解码空间，这在大规模模型和长序列情况下会导致计算资源和时间的浪费。推测性解码通过提前终止、多假设生成等技术，能够在保证一定质量的情况下，显著提高解码速度和效率。
【LLM】GPT2模型从零实现(附Pytorch代码)
行码棋
12-25 1161
主要设计实现一个类似GPT-2的大预言模型架构（LLM），LLM参数量更大，而不是代码量。
本地部署 vllm
engchina的专栏
12-25 5018
本地部署 vllm
PC本地部署vllm gemma-2b
yi_xiansen的博客
06-03 4357
普通电脑配置本地运行小参数量大模型，本地部署LLM
llm.c运行本地环境配置（cpu版本）以及如何使用cmake工具在linux下进行编译运行
m0_72899202的博客
05-25 1031
本文旨在记录初学者在探索Karpathy大佬的llm.c项目时配置本地环境的过程和粗略的解决方法，并且更进一步的探索llm.c的文件架构和一些代码内容，以期使用cmake的方式完成对llm.c在linux上运行和在windows下相同的可执行内容。以上内容皆以llm.c给出的cpu版本为例。（因笔者未系统学习过深度学习，所以本文不多涉及具体原理）项目部署的环境如下：Nvidia独立显卡+驱动(driver)windows11命令行（powershell）
【LLM】AMD GPU上实现高性能LLM推理
shen12138的博客
05-02 1317
参考链接1：https://zhuanlan.zhihu.com/p/649088095参考链接2：https://github.com/mlc-ai/mlc-llm家里有台游戏机，配置相对训练大模型要求的资源较低，而且是AMD显卡，拿来玩玩推理。该篇文章主要是参考上述两个链接，使用mlc-llm开源项目运行。
GPT-2 开源模型本地搭建（一）
qiushily2030的博客
04-07 1万+
OpenAI 已将模型开源至上，在上面可以找到以下的GPT-2预训练模型：gpt2gpt2-largegpt2-xl其中，gpt2是最小的模型，参数量为124M；gpt2-medium, gpt2-large和gpt2-xl依次是参数量增大的模型。
在AMD GPU上进行大型语言模型推理优化
数字人生
10-30 1587
在这篇博客中，我们介绍了在AMD CDNA2 GPU上部署最新的LLM（大型语言模型）的几种软件优化技术。这些技术包括PyTorch 2编译、Flash Attention v2、`paged_attention`、PyTorch TunableOp和多GPU推理。这些技术已经被AI社区广泛采用。使用这些优化措施，根据批处理大小和输入序列长度，你可以体验最多高达三倍的开箱即用加速效果。
windows ollama 指定模型下载路径
热门推荐
数字人生
05-28 2万+
打开任务管理器，转到“进程”标签（或Windows 10及更高版本的“详细信息”标签），找到与"Ollama"相关的进程，右键点击并选择“结束任务”。如果使用的是某些特定的IDE或代码编辑器，它们可能有自己的方式来设置环境变量。在Windows系统中，如果想为Ollama指定模型的下载路径，可以通过设置环境变量来实现。在设置环境变量时，确保路径是正确的，并且有足够的权限来访问和写入该目录。在“系统变量”或“用户变量”部分，点击“新建”来创建一个新的环境变量。右键点击“此电脑”或“计算机”，选择“属性”。
windows使用llm.c
12-31
### 如何在 Windows 上使用 LLM.C 编程或运行 LLM.C 相关的程序 为了能够在 Windows 操作系统中成功编译并运行 `llm.c` 或类似的单文件纯 C 实现的大规模语言模型 (LLM)，需要遵循一系列配置和安装步骤。 #### 安装必要的工具链和支持库 首先，确保已安装适用于 Windows 的 GCC 编译器。可以通过 MinGW-w64 来获取 GCC 工具链，在此之后还需要下载并设置 TDM-GCC 或 MSYS2 环境以便更好地支持 Windows 平台上的 GNU 软件包[^3]。 其次，由于 `llm.c` 可能依赖于某些外部库来进行矩阵运算或其他高级计算任务，因此可能也需要安装 BLAS/LAPACK 数学函数库以及 Python 解释器用于辅助脚本编写与测试工作。 #### 获取源码并构建项目 访问指定的 GitCode 页面克隆仓库至本地机器： ```bash git clone https://gitcode.com/gh_mirrors/ll/llama2.c.git cd llama2.c ``` 接着利用之前准备好的 GCC 对源文件进行编译链接操作，生成可执行文件: ```bash gcc -O3 -o llm.exe llm.c -lm -pthread -lws2_32 ``` 这里 `-lm` 表示连接数学库；而 `-pthread`, `-lws2_32` 则是为了兼容多线程及网络通信所需加载的相关动态链接库。 #### 测试验证 完成上述准备工作后即可尝试启动刚刚创建的应用程序，并传入适当参数以观察其行为表现是否正常。例如可以先从简单的命令行输入开始体验基本功能特性： ```cmd .\llm.exe --help ``` 这会显示帮助信息列表，指导用户进一步了解可用选项及其用途。 #### 使用注意事项 考虑到不同版本间可能存在差异性调整，建议始终参照官方文档说明来确认最新变更情况。另外值得注意的是，尽管可以在 Windows 下顺利移植此类开源项目，但在实际部署过程中仍需关注目标环境的具体要求，比如硬件加速能力、内存占用率等因素的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

109702008

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值