Windows下AMD显卡在本地运行大语言模型(deepseek-r1)

已于 2025-02-08 20:58:26 修改
阅读量2.5k 收藏 28
点赞数 18
文章标签： 语言模型 人工智能 自然语言处理
于 2025-02-08 20:55:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wstc2689784536/article/details/145520044
版权

Windows下AMD显卡在本地运行大语言模型

本人电脑配置

CPU i5-12600KF
内存 32 GB
显卡 AMD Radeon RX 6750 GRE 12GB

第一步先在官网确认自己的 AMD 显卡是否支持 ROCm

官网地址：https://rocm.docs.amd.com/projects/install-on-windows/en/develop/reference/system-requirements.html
在这里插入图片描述如果自己的显卡在官网列表上只需要下载并安装 AMD 官方版本的 ROCm 和 Ollama 的官方版本就能直接使用。

下载Ollama安装程序

由于本人的AMD显卡不在官网支持的ROCm列表上，所以下载
下载地址：https://github.com/likelovewant/ollama-for-amd/releases

最低0.47元/天 解锁文章
Windows & Linux 部署Deepseek -R1保姆级教程，打造属于自己的专属大模型知识数据库
Mr.L-OAM的博客
03-10 641
Windows部署本地专属 deepseek-r1 大模型 Linux 部署本地专属 deepseek-r1 大模型 打造自己的专属大模型知识数据库 打造自己的专属本地大模型 本地部署deepseek保姆级教程 多种方式部署自己的deepseek-r1
Deepseek-R1-32B企业级本地部署指南：结合XInference与Open-WebUI构建高效AI应用
maxcode
02-08 7368
通过本文的部署方案，企业可以快速搭建稳定可靠的大模型服务，同时结合实际应用场景，释放DeepSeek-R1-32B的潜力。如果在实际部署过程中遇到问题，或有具体需求需要优化，欢迎随时与我联系，共同探讨更完善的解决方案！
本地部署DeepSeek R1
weixin_51105931的博客
01-31 1256
本文章也是根据教程实操总结得出，如根据本文章无法部署成功，建议观看up主的视频教程，超级详细！！！
Windows WSL2中使用 AMD 显卡的 GPU (ROCm) 加速运行 PyTorch 大模型
qq_41896122的博客
12-11 5869
进行ROCm安装, 如果上面安装的不是这个版本的amdgpu-install,这里则会安装ROCm失败。这里安装好后 torch就可以运行模型了，我这里使用它运行一个语言翻译模型。接下来安装适合ROCm的 PyTorch。安装好检测下是否是结尾带rocm的版本。如图我们已经成功使用gpu进行加速了。需要注意的是这里只能安装该版本的。接下来可以检测下GPU是否可用。
Ollama 解锁 AMD 显卡支持：Ollama 使用 AMD 显卡运行 DeepSeek-R1 大模型
最新发布
在经历了无数个黑夜之后，我决定自己成为太阳
04-26 940
Ollama 解锁 AMD 显卡支持：Ollama 使用 AMD 显卡运行 DeepSeek-R1 大模型
AMD 显卡下 DeepSeek 大模型本地部署全攻略：问题与步骤详解
千舍的博客
03-01 2498
主要解决怎么让ollama调用AMD显卡的GPU
AMD推出开源项目“GAIA”实现本地大模型高效运行
weixin_41446370的博客
03-24 312
AMD宣布推出专为本地运行大语言模型（LLM）设计的开源应用GAIA，目前支持Windows平台。GAIA是一款生成式AI应用，可在Windows PC上实现本地化私密运行LLM，并针对锐龙AI 300系列处理器进行了优化。GAIA基于ONNX TurnkeyML的Lemonade SDK开发，采用检索增强生成（RAG）技术，支持Llama、Phi等主流模型。AMD提供普通版和混合版安装方案，普通版兼容任意Windows设备，混合版专为锐龙AI 300系列优化。
DeepSeek + Ollama 部署自己本地的 AI 大模型（Windows，AMD 显卡也能用）
JovaZou的成长之路
02-22 1522
随着 DeepSeek 在春节期间的爆火，DeepSeek 的 app 在登上了应用下载的 Top1 宝座，但是实际使用时却发现经常出现“服务器繁忙，请稍后再试。”的提示，导致用户体验非常差，而且也没办法做一些自定义的开发，如果你家里刚好有一台电脑，也刚好有张显卡（Mac 电脑用的是统一内存，所以不一定需要显卡，如果有显卡坞那肯定是锦上添花），那就跟着我来一起本地部署一下吧，本文将以 Windows11 系统来安装。
deepseek本地部署
weixin_46515691的博客
02-06 536
DeepSeek作为一款开源且性能强大的大语言模型，提供了灵活的本地部署方案，让用户能够在本地环境中高效运行模型，同时保护数据隐私，这里记录自己DeepSeek本地部署流程。
Windows本地部署DeepSeek-R1大模型实战：基于Ollama的极简指南
TKang8912的博客
02-03 5858
准备训练数据（JSONL格式）{"text": "<用户指令>优化客服话术</指令><响应>..."}# 启动微调部署效果评估响应速度：CPU模式约15 tokens/s，RTX4090可达85 tokens/s内存占用：7B量化版约5.8GB，完整版需18GB知识截止：2023年10月（可通过微调更新）最佳实践建议日常使用选择4-bit量化版本复杂任务启用GPU加速长期运行建议配置为Windows服务敏感业务数据启用TLS加密传输。
【transformer理论+实战（二）】Lora本地微调实战 --deepseek-r1蒸馏模型
造梦先森Kai的专栏
03-15 487
Huggingface是一个开放的人工智能模型库，提供了大量经过预训练的模型供用户下载和使用。
AMD平台下DeepSeek部署所需关键软件及ROCm库下载链接汇总 给无法翻墙的同学们提供
02-07
内容概要：本文档提供了在AMD平台上本地部署DeepSeek所需的多个重要组件及其下载链接，特别针对无法访问国际网络（俗称'翻墙'）的需求做了准备。文中列出并介绍了安装ollama软件、Hip SDK以及各类适用于不同显卡版本（如GFX906, GFX1100等）的ROCm库文件的具体来源与获取途径，确保使用者可以快速而正确地完成整个部署流程。 适用人群：适用于所有计划在基于AMD架构系统上部署运行深度搜索应用程序的技术人员，尤其是那些因地理或其它原因无法顺利访问国外服务器资源的研究团队和个人。 使用场景及目标：主要用于帮助用户绕过外部网络限制，在国内环境中顺利获得相关开源项目和技术资料。此外也便于后续维护时能够迅速定位所需依赖项的位置，并简化了安装配置过程中对第三方网站查询的依赖性。 其他说明：请注意各个组件版本兼容性的确认，按照指南选择合适的GFX版本进行下载。由于部分内容存储于GitHub仓库，推荐使用提供的镜像或者离线压缩包来加快下载速度。部分特定版本的库还带有额外优化特性，可以根据实际硬件环境选用最合适的一个。对于有特殊定制化需求的用户，则提供了源码下载以支持进一步修改和完善。
ollama安装包-windows
07-15
ollama安装包-windows
ROCmLibs：让“不受支持”的AMD GPU在Windows上焕发新生
gitblog_00881的博客
04-01 968
ROCmLibs：让“不受支持”的AMD GPU在Windows上焕发新生 ROCmLibs Prebuilt Windows ROCm Libs for gfx1031 and gfx1032 项目地址: https://git...
AMD显卡本地部署DeepSeek（附ollama安装包）
huang9604的博客
02-10 9322
AMD显卡本地部署DeepSeek（附ollama安装包）
AMD ROCm 平台简介
热门推荐
丁丁的博客
07-08 4万+
介绍 AMD 的 ROCm GPU 计算平台。
从0开始的AI大模型学习---ollama+amd显卡本地化部署deepseek-r1
zym_1990的博客
02-20 1778
deepseek+ollama+amd显卡本地化部署
快速体验Ollama安装部署并支持AMD ROCm推理加速
IT菜鸟
08-16 1万+
快速体验Ollama安装部署并支持AMD ROCm推理加速
AMD显卡能用F5-TTS吗
04-01
<think>好的，我现在需要回答用户关于AMD显卡是否能使用F5-TTS的问题。首先，我应该先了解F5-TTS是什么，以及它的系统要求。 F5-TTS可能是一个文本转语音的模型或工具，但我不太确定。可能需要进一步确认。假设它是一个基于深度学习的TTS模型，通常这类模型会依赖于GPU加速，尤其是NVIDIA的CUDA和cuDNN库，因为它们广泛支持深度学习框架如TensorFlow或PyTorch。 接下来，用户询问AMD显卡是否适用。AMD显卡通常使用ROCm（Radeon Open Compute）平台来支持深度学习任务，类似于NVIDIA的CUDA。需要检查F5-TTS的代码或文档，看是否有对ROCm的支持，或者是否可以通过其他方式在AMD显卡上运行。 另外，PyTorch和TensorFlow对AMD显卡的支持情况也需要考虑。例如，PyTorch从1.8版本开始支持ROCm，但可能需要特定版本的驱动和软件栈。用户可能需要安装ROCm并配置环境才能使用AMD显卡运行F5-TTS。 此外，可能存在的兼容性问题：如果F5-TTS依赖某些仅支持CUDA的库，那么直接使用AMD显卡可能会有困难。这时候可能需要寻找替代方案，比如使用CPU模式，或者转换模型到支持ROCm的框架。 还需要考虑用户的具体配置，比如AMD显卡型号是否被ROCm支持，操作系统的版本（比如Linux是ROCm的主要支持平台，而Windows支持有限）等。 总结可能的回答要点： 1. F5-TTS是否依赖CUDA，是否有ROCm替代方案。 2. 检查F5-TTS的文档或源码是否有提及AMD支持。 3. PyTorch/TensorFlow在AMD显卡上的配置步骤。 4. 可能的替代方案，如CPU模式或转换框架。 5. 用户系统环境是否符合要求（如Linux系统，支持的AMD显卡型号）。 需要验证这些信息，确保准确无误。如果某些信息不确定，应建议用户查阅官方文档或社区资源，并提供相关链接或指导步骤。</think>AMD显卡能否运行F5-TTS取决于具体的代码实现和依赖库的支持情况。以下是分步分析： --- ### **1. 确认F5-TTS的底层框架** F5-TTS作为文本转语音模型，通常基于深度学习框架（如PyTorch或TensorFlow）。需明确： - **框架对AMD显卡的支持**： - **PyTorch**：通过ROCm平台支持AMD显卡（需Linux系统），但需安装特定版本（如`pytorch-rocm`）。 - **TensorFlow**：官方对ROCm的支持有限，可能需自行编译或使用社区维护版本。 - **代码依赖项**：若F5-TTS依赖CUDA专属库（如`cuDNN`），则需修改代码或寻找替代方案。 --- ### **2. 检查ROCm兼容性** AMD显卡需满足以下条件： - **支持的显卡型号**：如Radeon VII、RX 5000/6000系列、Instinct系列等（具体列表参考[AMD ROCm文档](https://docs.amd.com/)）。 - **操作系统**：官方仅支持Linux（如Ubuntu 20.04+、CentOS 7.4+），Windows仅部分实验性支持。 --- ### **3. 尝试运行步骤** 若满足上述条件，可按以下步骤尝试： 1. **安装ROCm驱动**： ```bash sudo apt install rocm-dkms ``` 2. **配置PyTorch/TensorFlow**： - PyTorch示例（需指定ROCm版本）： ```bash pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/rocm5.2 ``` 3. **修改F5-TTS代码**： - 将CUDA相关代码（如`device = "cuda:0"`）替换为`device = "hip:0"`（ROCm的HIP接口）。 --- ### **4. 替代方案** 若无法直接运行： - **CPU模式**：强制使用CPU（性能下降但兼容性高）： ```python device = torch.device("cpu") ``` - **Docker容器**：使用预配置的ROCm Docker镜像（如`rocm/pytorch`）。 - **转换框架**：将模型导出为ONNX格式，尝试在支持AMD的推理引擎中运行。 --- ### **5. 验证与调试** - **检查GPU识别**： ```python import torch print(torch.cuda.is_available()) # 若为ROCm，可能返回False（需用`torch.backends.hip.is_available()`） ``` - **参考社区资源**：如[ROCm GitHub Issues](https://github.com/RadeonOpenCompute/ROCm)或F5-TTS项目讨论区。 --- ### **总结** - **可行条件**：AMD显卡需支持ROCm、系统为Linux、框架和代码适配HIP。 - **潜在问题**：依赖CUDA的代码需修改，Windows支持有限。 - **建议**：优先查阅F5-TTS的官方文档或联系开发者确认兼容性。 如果需要进一步操作指导，请提供更多细节（如显卡型号、操作系统、F5-TTS代码库链接）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想看一次满天星

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值