AMD ROCm™ AI开发者活动来袭！大模型推理与开源创新专场

最新推荐文章于 2025-05-10 22:50:00 发布
最新推荐文章于 2025-05-10 22:50:00 发布
阅读量760 收藏
点赞数
文章标签： 人工智能 开源
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4MjYzMjI1MA==&mid=2247546938&idx=1&sn=ab2e03d30df01b9b12f70f1635ccb701&chksm=ce8f8540d884f020d37ae1bc3f86779ecb59962fef0cd7baf366bcac66ca20c11639536d8f4f&scene=126&sessionid=0
版权

为促进 AMD ROCm 开发者技术交流，探索大模型与开源工具的实践应用， AMD 将于 4 月 19 日在上海虹桥西郊庄园丽笙大酒店举办 AMD ROCm AI 开发者交流会——大模型推理与开源创新专场活动。

本次活动聚焦基于 AMD ROCm 的大模型推理、性能加速、开源社区生态建设与工具链实操四大主题，特邀请 AMD 人工智能事业部生态负责人、AI 软件产品市场技术负责人、AI 开源社区核心贡献者及行业合作伙伴共同分享，通过技术解析、动手实验与实时 Demo 演示，助力 ROCm 开发者提升工程能力与创新效率。

图片

活动亮点

图片

深度技术解析

  • 大模型推理加速与 ROCm 开源生态

  • SGLang 开源社区协作与工具链实战案例

  • 前沿 ROCm 性能调优技巧

图片

互动实践环节

  • 动手实践：在 AMD 导师指导下体验 ROCm 模型部署工具

  • 实时 Demo 演示：直观大模型 GPU 推理应用展示

图片

开发者福利

  • 与技术大咖、同行开发者面对面交流

  • 免费茶歇与精美餐食

  • 免费 GPU 体验

  • 幸运抽奖（奖品包含基于 AMD 全新 GPU 架构的 Radeon™ 系列显卡等）

活动日程

图片

立即免费报名

机会难得，名额有限！立即扫码报名参加 AMD ROCm 开发者技术专场，与 AMD 专家和社区开发者共同探讨 AI 的无限可能！

立即扫码报名，赢取 Radeon™ 系列显卡！

图片

点击「阅读原文」免费报名，AMD ROCm™ AI 开发者交流会，共赴大模型推理与开源创新专场。

CSDN云计算
关注
大型语言模型在AMD GPU上的推理优化
数字人生
06-18 1490
在这篇博客中，我们介绍了几种软件优化技术，用于在AMD CDNA2 GPUs上部署最先进的大型语言模型（LLMs）。这些包括PyTorch 2编译、Flash Attention v2、`paged_attention`、PyTorch TunableOp以及多GPU推理。这些优化技术已经被AI社区广泛采纳。使用这些优化，根据批量大小和输入序列长度，你可以享受高达三倍的即开即用加速。
A卡2023最新AI画图教程：3A主机安装ROCm运行Stable Diffusion画图
梦马韶华
06-15 4973
Stable Diffusion A卡2023最新AIGC画图教程，无需翻墙、无需翻墙、无需翻墙！
使用源码编译安装AMD ROCm
u014756627的博客
02-15 4386
本文介绍了使用源码来安装AMD的ROCm组件。
AMD ROCm™ AI开发者交流会——大模型推理与开源创新专场
AI科技大本营
04-10 629
为促进 AMD ROCm 开发者技术交流，探索大模型与开源工具的实践应用， AMD 将于 4 月 19 日在上海虹桥西郊庄园丽笙大酒店举办 AMD ROCm AI 开发者交流会——大模型推理与开源创新专场活动。
基于AMDGPU-ROCm的深度学习环境搭建
tugouxp的专栏
02-24 5465
在风起云涌的AI江湖，NVIDIA凭借其CUDA生态和优秀的硬件大杀四方，立下赫赫战功，而另一家公司AMD也不甘示弱，带着他的生态解决方案ROCm开始了与不世出的NVIDA的正面硬钢，"ROCm is the answer to CUDA", AMD官网如是说。ROCm全称是Radeon Open Compute，从功能上，它是AMD提供的一套用于支持异构计算和GPU加速计算的开发工具和平台。
AI：解锁潜能, AMD ROCm 与 NVIDIA CUDA 的较量
十年运维开发经验的王义杰在此分享自己的知识和经验
02-16 1468
随着人工智能，尤其是大模型领域的飞速发展，对计算能力的需求也水涨船高。虽然在当前的大模型训练和推理方面，CUDA 仍具有性能和生态优势，但 ROCm 正在快速发展，并在某些特定场景下展现出竞争力。未来，随着 ROCm 生态的不断完善和 AMD GPU 架构的进一步优化，我们有理由相信 ROCm 将在 AI 领域发挥越来越重要的作用。对于开发者而言，了解并掌握 ROCm 将有助于他们更好地利用 AMD GPU 的计算能力，解锁 AI 创新的更多可能性。
【人工智能】揭秘大模型推理延迟：Ollama与LM Studio性能对决实测
一个被知识诅咒的人
04-23 1395
随着大语言模型（LLM）的广泛应用，本地部署工具如Ollama和LM Studio因其隐私保护和灵活性受到开发者青睐。本文深入对比Ollama与LM Studio在推理延迟、资源占用和易用性方面的性能，通过实测Qwen2.5-14B和Llama3.1-8B模型，揭示两者的优劣。文章结合大量Python代码示例（含详细中文注释），展示模型部署、API调用及性能测试流程，并引入数学公式分析推理延迟的理论基础。测试结果表明，Ollama在轻量级场景下更高效，而LM Studio在多任务处理中更稳定。本文为开发者提
如何用AMD显卡部署模型/进行推理
m0_68784427的博客
04-03 4645
如何是用A卡进行部署、推理
Windows WSL2中使用 AMD 显卡的 GPU (ROCm) 加速运行 PyTorch 大模型
qq_41896122的博客
12-11 5448
进行ROCm安装, 如果上面安装的不是这个版本的amdgpu-install,这里则会安装ROCm失败。这里安装好后 torch就可以运行模型了，我这里使用它运行一个语言翻译模型。接下来安装适合ROCm的 PyTorch。安装好检测下是否是结尾带rocm的版本。如图我们已经成功使用gpu进行加速了。需要注意的是这里只能安装该版本的。接下来可以检测下GPU是否可用。
CUDA生态和ROCm生态对比分析
u014756627的博客
02-18 9888
本文总结和对比了Nvidia的CUDA和AMD的ROCm生态。
AMD ROCm 平台简介
热门推荐
丁丁的博客
07-08 4万+
介绍 AMD 的 ROCm GPU 计算平台。
AMD GPU 实用工具 rocm-smi 使用方法
znsoft的专栏
03-26 1万+
rocm-smi 类似nvidia的nvidia-smi实用工具，下面列出几个常用命令 rocm-smi 显示设备及显存占用，等价于 rocm-svm --alldevice 显示独立内存占用： rocm-smi --showmeminfo vram vis_vram gtt ...
ROCm：AMD系开源HPC/超规模GPU计算/深度学习平台
博客
07-05 4793
原文：ROCm, a New Era in Open GPU Computing 作者：NICHOLAS THOMPSON 翻译：Vincent ROCm的英文全称Radeon Open Compute platform，它是AMD在去年12月推出的一款开源GPU运算平台，目前已经发展到了1.3版本。MIOpen则是AMD为此开发的软件库，其作用是将程序设计语言和ROCm平台连接...
基于对应点分类的对象识别 报错
qq_25194681的博客
05-07 634
【代码】基于对应点分类的对象识别 报错。
Qwen3 混合思维模版解读
qq128252的博客
05-07 1000
在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 512
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
《Python星球日记》 第51天：神经网络基础
Code_流苏：在代码中寻诗意
05-10 655
神经网络是什么？简单来说，它是一种模仿人类大脑结构和工作方式的算法模型，能够从大量数据中学习复杂的模式。无论是语音识别、图像分类还是自然语言处理，神经网络都展现出了强大的能力。让我们一起踏上这段奇妙的旅程吧！
YOLO目标检测算法评估标准
jdjhcn的博客
05-10 444
不同类型的模型，评估指标各有侧重。分类模型中，准确率反映预测正确的整体比例；精确率关注预测正例中实际正例的占比；召回率衡量实际正例被正确预测的程度；F1 值综合精确率与召回率，适合样本不均衡场景。回归模型里，均方误差计算预测值与真实值误差平方的均值，能体现平均差异；平均绝对误差以误差绝对值平均，对异常值敏感度低；聚类模型中，轮廓系数综合凝聚度和分离度，值近 1 代表聚类佳。那么我们今天学习的YOLO目标检测模型使用什么指标评估模型的效果。
AI日报 · 2025年5月10日｜OpenAI“Stargate”超级数据中心项目掀起美国各州争夺战
最新发布
He_r_o的博客
05-10 429
OpenAI 与 Oracle、SoftBank 合作推进的“Stargate”项目（首期投资 1000 亿美元，四年内总投资 5000 亿美元）已收到超过 250 份选址提案，20 余州政府、经济发展机构与土地所有者主动递交用地及税收优惠方案，以期承接巨型 AI 数据中心并获得长期电力与就业红利。
ollama AMD ROCm
04-03
<think>好的，我现在需要帮助用户了解如何在AMD ROCm平台上安装和配置Ollama。首先，我得确认用户的需求是什么。用户提到他们想了解Ollama在ROCm上的支持情况以及安装配置方法。他们已经提供了几个引用链接，其中涉及ROCm的安装指南、Ubuntu 22.04的安装教程、QLoRA调优的博客，以及一个关于NVIDIA GPU不兼容PyTorch的错误信息。 首先，我需要回忆Ollama的相关信息。Ollama是一个用于本地运行大型语言模型（LLM）的工具，通常支持CUDA的NVIDIA GPU。但用户询问的是AMD的ROCm平台，这可能涉及到兼容性问题。根据引用[3]，有博客提到在单个AMD GPU上使用QLoRA调优Llama 2，这说明至少在某些情况下，AMD GPU可以用于类似的任务，但需要ROCm的支持。 接下来，我需要确认Ollama是否官方支持ROCm。查阅Ollama的官方文档，发现目前Ollama主要支持CUDA，但可能社区有非官方的支持或变通方法。用户提供的引用[3]显示有通过ROCm运行LLM的例子，所以可能可以配置Ollama使用ROCm。 然后，安装步骤可能需要先安装ROCm，如引用[1]和[2]所述。用户需要确保系统符合ROCm的要求，比如Ubuntu 22.04，然后按照官方指南安装ROCm 6.0。这可能涉及添加仓库、安装内核模块、配置用户组等步骤，如引用[2]中的教程提到的。 接下来，安装PyTorch的ROCm版本。因为Ollama可能依赖于PyTorch，而默认安装的PyTorch可能不支持AMD GPU。用户需要从PyTorch官网选择支持ROCm的版本，例如使用pip安装命令指定rocm5.6或更高版本。引用[4]中的错误信息提示了CUDA版本不兼容的问题，但在这里用户需要确保PyTorch针对ROCm构建。 然后是安装Ollama本身。可能需要从源码编译或使用社区提供的支持ROCm的分支。例如，用户可能需要克隆Ollama的仓库，检查是否有ROCm支持的分支，并按照特定说明编译。这可能涉及设置环境变量，如HSA_OVERRIDE_GFX_VERSION，特别是对于不同型号的AMD GPU，如RX 6000系列需要设置这个变量。 配置Ollama时，可能需要修改配置文件，指定使用ROCm作为后端，或者设置相应的参数让Ollama识别AMD GPU。例如，在启动Ollama时添加参数，或者设置环境变量如HIP_VISIBLE_DEVICES来指定使用的GPU。 验证安装是否成功，可以运行Ollama的命令行工具，查看日志是否检测到AMD GPU，并测试模型推理是否使用GPU加速。用户可能需要运行ollama run llama2这样的命令，并监控GPU的使用情况，比如使用rocm-smi工具。 此外，需要注意可能的常见问题，比如依赖项缺失、权限问题（需要将用户加入video组）、内核模块未正确加载等。引用[2]中的教程提到了安装过程中的一些坑，比如需要安装特定版本的ROCm，或者处理依赖冲突。 最后，生成相关问题时要考虑用户可能的后续疑问，比如性能调优、错误处理、模型兼容性等，帮助用户进一步解决问题。</think>### Ollama在AMD ROCm平台上的安装与配置指南 #### 1. 确认硬件与系统要求 - **AMD GPU支持**: 需为ROCm支持的GPU型号，例如Radeon VII、Radeon Pro VII、Instinct MI系列等。部分消费级显卡如RX 6000系列需手动设置环境变量`HSA_OVERRIDE_GFX_VERSION=10.3.0`[^2]。 - **操作系统**: 推荐Ubuntu 22.04 LTS，其他Linux发行版需参考官方兼容性列表[^1]。 #### 2. 安装ROCm平台 1. **添加ROCm仓库**: ```bash wget -q -O - https://repo.radeon.com/rocm/rocm.gpg.key | sudo apt-key add - echo 'deb [arch=amd64] https://repo.radeon.com/rocm/apt/6.0/ ubuntu main' | sudo tee /etc/apt/sources.list.d/rocm.list ``` 2. **安装ROCm核心组件**: ```bash sudo apt update sudo apt install rocm-hip-sdk rocm-opencl-sdk ``` 3. **配置用户权限**: ```bash sudo usermod -aG video $USER ``` 重启系统后运行`rocminfo`验证安装。 #### 3. 配置PyTorch for ROCm Ollama依赖PyTorch的GPU加速，需安装支持ROCm的版本： ```bash pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.0 ``` #### 4. 安装Ollama 目前Ollama官方未直接支持ROCm，需通过源码编译： ```bash git clone https://github.com/jmorganca/ollama cd ollama # 切换到社区支持分支（例如rocm-experimental） GOAMD64=v3 make ROCM_ENABLED=1 ``` 编译成功后，将生成的`ollama`二进制文件复制到`/usr/local/bin/`。 #### 5. 运行与验证 - **启动Ollama服务**: ```bash HSA_OVERRIDE_GFX_VERSION=10.3.0 ollama serve ``` - **测试模型加载**: ```bash ollama run llama2 ``` 观察日志中是否出现`Using AMD GPU with ROCm`的提示。 #### 6. 常见问题 - **GPU未识别**: 检查`/dev/kfd`权限，或尝试`export HIP_VISIBLE_DEVICES=0`。 - **依赖冲突**: 使用`docker run --device=/dev/kfd --device=/dev/dri --security-opt seccomp=unconfined -it rocm/pytorch`在容器中运行[^3]。 - **性能调优**: 调整`OLLAMA_NUM_GPU=2`环境变量分配多GPU资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值