Windows下AMD显卡在本地运行大语言模型(deepseek-r1)

已于 2025-02-08 20:58:26 修改
阅读量2.4k 收藏 28
点赞数 18
文章标签： 语言模型 人工智能 自然语言处理
于 2025-02-08 20:55:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wstc2689784536/article/details/145520044
版权

Windows下AMD显卡在本地运行大语言模型

本人电脑配置

CPU i5-12600KF
内存 32 GB
显卡 AMD Radeon RX 6750 GRE 12GB

第一步先在官网确认自己的 AMD 显卡是否支持 ROCm

官网地址：https://rocm.docs.amd.com/projects/install-on-windows/en/develop/reference/system-requirements.html
在这里插入图片描述如果自己的显卡在官网列表上只需要下载并安装 AMD 官方版本的 ROCm 和 Ollama 的官方版本就能直接使用。

下载Ollama安装程序

由于本人的AMD显卡不在官网支持的ROCm列表上，所以下载
下载地址：https://github.com/likelovewant/ollama-for-amd/releases

最低0.47元/天 解锁文章
AMD GPU 运行 Deepseek-R1 — 详细指南
iCloudEnd的博客
02-05 622
想要将您的 AMD Radeon™ GPU 变成天才的解决问题助手吗？本分步指南将向您展示如何在本地运行 DeepSeek 的 R1 AI 模型 — 无需云、无需订阅，只需原始的 AMD 马力。让我们开始吧！
Deepseek-R1-32B企业级本地部署指南：结合XInference与Open-WebUI构建高效AI应用
maxcode
02-08 7080
通过本文的部署方案，企业可以快速搭建稳定可靠的大模型服务，同时结合实际应用场景，释放DeepSeek-R1-32B的潜力。如果在实际部署过程中遇到问题，或有具体需求需要优化，欢迎随时与我联系，共同探讨更完善的解决方案！
Windows下Ollama只调用CPU，不使用GPU处理
weixin_50450265的博客
02-07 9839
在本地使用Ollama框架部署deepseek后发现CPU占用极高，查看日志发现不支持电脑的显卡型号。重启成功后，使用deepseek时CPU占用正常，成功使用GPU。，官方支持的显卡只需要下载安装官方版本的就行了。对于官方不支持的显卡才需要用这个版本，也能。打开软件安装目录，比如这是我的安装路径。下载显卡型号对应的压缩包。
本地部署DeepSeek R1
weixin_51105931的博客
01-31 1176
本文章也是根据教程实操总结得出，如根据本文章无法部署成功，建议观看up主的视频教程，超级详细！！！
ROCmLibs-for-gfx1103-AMD780M-APU：提升AMD GPU性能的利器
gitblog_00693的博客
03-27 299
ROCmLibs-for-gfx1103-AMD780M-APU：提升AMD GPU性能的利器 ROCmLibs-for-gfx1103-AMD780M-APU ROCm Library Files for gfx1103 and update with others arches based on AMD GPUs...
Windows WSL2中使用 AMD 显卡的 GPU (ROCm) 加速运行 PyTorch 大模型
qq_41896122的博客
12-11 5286
进行ROCm安装, 如果上面安装的不是这个版本的amdgpu-install,这里则会安装ROCm失败。这里安装好后 torch就可以运行模型了，我这里使用它运行一个语言翻译模型。接下来安装适合ROCm的 PyTorch。安装好检测下是否是结尾带rocm的版本。如图我们已经成功使用gpu进行加速了。需要注意的是这里只能安装该版本的。接下来可以检测下GPU是否可用。
AMD 显卡下 DeepSeek 大模型本地部署全攻略：问题与步骤详解
千舍的博客
03-01 2123
主要解决怎么让ollama调用AMD显卡的GPU
AMD推出开源项目“GAIA”实现本地大模型高效运行
weixin_41446370的博客
03-24 287
AMD宣布推出专为本地运行大语言模型（LLM）设计的开源应用GAIA，目前支持Windows平台。GAIA是一款生成式AI应用，可在Windows PC上实现本地化私密运行LLM，并针对锐龙AI 300系列处理器进行了优化。GAIA基于ONNX TurnkeyML的Lemonade SDK开发，采用检索增强生成（RAG）技术，支持Llama、Phi等主流模型。AMD提供普通版和混合版安装方案，普通版兼容任意Windows设备，混合版专为锐龙AI 300系列优化。
deepseek本地部署
weixin_46515691的博客
02-06 512
DeepSeek作为一款开源且性能强大的大语言模型，提供了灵活的本地部署方案，让用户能够在本地环境中高效运行模型，同时保护数据隐私，这里记录自己DeepSeek本地部署流程。
DeepSeek + Ollama 部署自己本地的 AI 大模型（Windows，AMD 显卡也能用）
JovaZou的成长之路
02-22 1361
随着 DeepSeek 在春节期间的爆火，DeepSeek 的 app 在登上了应用下载的 Top1 宝座，但是实际使用时却发现经常出现“服务器繁忙，请稍后再试。”的提示，导致用户体验非常差，而且也没办法做一些自定义的开发，如果你家里刚好有一台电脑，也刚好有张显卡（Mac 电脑用的是统一内存，所以不一定需要显卡，如果有显卡坞那肯定是锦上添花），那就跟着我来一起本地部署一下吧，本文将以 Windows11 系统来安装。
Windows本地部署DeepSeek-R1大模型实战：基于Ollama的极简指南
TKang8912的博客
02-03 5802
准备训练数据（JSONL格式）{"text": "<用户指令>优化客服话术</指令><响应>..."}# 启动微调部署效果评估响应速度：CPU模式约15 tokens/s，RTX4090可达85 tokens/s内存占用：7B量化版约5.8GB，完整版需18GB知识截止：2023年10月（可通过微调更新）最佳实践建议日常使用选择4-bit量化版本复杂任务启用GPU加速长期运行建议配置为Windows服务敏感业务数据启用TLS加密传输。
【transformer理论+实战（二）】Lora本地微调实战 --deepseek-r1蒸馏模型
造梦先森Kai的专栏
03-15 424
Huggingface是一个开放的人工智能模型库，提供了大量经过预训练的模型供用户下载和使用。
AMD平台下DeepSeek部署所需关键软件及ROCm库下载链接汇总 给无法翻墙的同学们提供
02-07
内容概要：本文档提供了在AMD平台上本地部署DeepSeek所需的多个重要组件及其下载链接，特别针对无法访问国际网络（俗称'翻墙'）的需求做了准备。文中列出并介绍了安装ollama软件、Hip SDK以及各类适用于不同显卡版本（如GFX906, GFX1100等）的ROCm库文件的具体来源与获取途径，确保使用者可以快速而正确地完成整个部署流程。 适用人群：适用于所有计划在基于AMD架构系统上部署运行深度搜索应用程序的技术人员，尤其是那些因地理或其它原因无法顺利访问国外服务器资源的研究团队和个人。 使用场景及目标：主要用于帮助用户绕过外部网络限制，在国内环境中顺利获得相关开源项目和技术资料。此外也便于后续维护时能够迅速定位所需依赖项的位置，并简化了安装配置过程中对第三方网站查询的依赖性。 其他说明：请注意各个组件版本兼容性的确认，按照指南选择合适的GFX版本进行下载。由于部分内容存储于GitHub仓库，推荐使用提供的镜像或者离线压缩包来加快下载速度。部分特定版本的库还带有额外优化特性，可以根据实际硬件环境选用最合适的一个。对于有特殊定制化需求的用户，则提供了源码下载以支持进一步修改和完善。
ollama安装包-windows
07-15
ollama安装包-windows
Win11 使用 Ollama 本地部署 DeepSeek - R1 详细指南.pdf
02-05
Ollama 是一个方便在本地运行大型语言模型的工具，它允许用户在本地设备上部署和使用模型，无需依赖云端服务，这不仅增强了数据隐私性，还能避免网络延迟带来的影响。本指南将详细介绍在 Windows 11 系统上使用 ...
ROCmLibs：让“不受支持”的AMD GPU在Windows上焕发新生
最新发布
gitblog_00881的博客
04-01 880
ROCmLibs：让“不受支持”的AMD GPU在Windows上焕发新生 ROCmLibs Prebuilt Windows ROCm Libs for gfx1031 and gfx1032 项目地址: https://git...
AMD ROCm 平台简介
热门推荐
丁丁的博客
07-08 4万+
介绍 AMD 的 ROCm GPU 计算平台。
AMD显卡本地部署DeepSeek（附ollama安装包）
huang9604的博客
02-10 8442
AMD显卡本地部署DeepSeek（附ollama安装包）
从0开始的AI大模型学习---ollama+amd显卡本地化部署deepseek-r1
zym_1990的博客
02-20 1697
deepseek+ollama+amd显卡本地化部署
本地部署DeepSeek-R1-7B,集成显卡可以吗
02-10
### DeepSeek-R1-7B 模型在集成显卡上的兼容性和要求 对于希望在集成显卡上部署 DeepSeek-R1-7B 模型的情况，需注意该模型对计算资源有较高需求。通常情况下，推荐使用独立 GPU 来加速推理过程并提高性能[^1]。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想看一次满天星

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值