AMD显卡用户专属：本地部署DeepSeek全攻略，附赠Ollama安装包！

最新推荐文章于 2025-04-01 11:02:48 发布

程序员辣条

最新推荐文章于 2025-04-01 11:02:48 发布

阅读量1.7k

点赞数 21

文章标签：人工智能大模型教程 RAG 学习 AI大模型 DeepSeek AI

本文链接：https://blog.csdn.net/m0_65555479/article/details/146136174

版权

AMD显卡本地部署DeepSeek

问题描述

如果你的DeepSeek只在CPU和内容中运行(显存占用很低)。

或者是你不知道如何在本地部署DeepSeek，那么本篇文章将帮助你解决这个问题。

1. Ollama部署

Ollama是一个开源的大模型管理框架，可以帮助你在本地部署DeepSeek。

你可以从这里访问Ollama的官网下载。

在这里插入图片描述

注意，如果你是AMD显卡，你应该下载Ollama的AMD版本，否则大模型会在CPU上运行，推理效率低。

你可以使用ALT+鼠标左键，在新标签中打开链接，防止此页面丢失。

github：ollama-for-amd

打开后点击右侧Releases标签，进入软件列表，将页面拖至最低部，_{如果你的`AMD`显卡是6000/7000系列以上（支持`ROCm`），下载前两个版本，否则下载第三个版本。}

视频中此部分内容介绍有误，直接下载第四个OllamaSetup.exe安装包即可

在这里插入图片描述

（鉴于很多朋友无法下载ollama，这里给大家整理好了ollama的安装包，扫描领取即可↓↓↓↓）

在这里插入图片描述

获取安装包后一路下一步，直至右下角出现羊驼图标，表明Ollama服务已启动。

2. 下载DeepSeek

2.1 下载DeepSeek

在开始菜单处搜索cmd,打开命令行窗口，输入以下命令下载DeepSeek：

ollama run deepseek-r1:1.5b

在这里插入图片描述

当看到有百分比显示时，说明DeepSeek已经开始下载。

如果下载过程较慢，耐心等待即可一般不会卡死。

当屏幕出现send a message时，说明DeepSeek已经下载完毕，可以向他提问了。

在这里插入图片描述

2.2 确认是否在显卡中运行

在开始菜单处搜索任务,打开任务管理器，切至性能，观察专用显存占用情况，如果很低，证明DeepSeek没有在显卡中运行。

如下图所示：

在这里插入图片描述

此时你需要替换部分文件，才能修复此问题。

访问github：v0.6.1.2

如无法访问github，网盘文件中的rocm.zip即为此内容。

页面最低部，根据你的显卡类型，下载对应的文件：

如5700xt就下载：rocm.gfx1010-xnack-.for.hip.sdk.6.1.2.7z

在这里插入图片描述

下载完成后，将解压的内容分别对应替换：

C:\Users\你的用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas.dll

C:\Users\你的用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library

网盘中我将全部gpu_type的内容都下载下来了，你可以根据自己的显卡类型替换。

主流消费级显卡对照

显卡型号	微架构	GFX 代号	备注
Radeon RX 580	Polaris	gfx803	经典 GCN 架构，ROCm 5.0+ 已弃用
Radeon VII	Vega	gfx906	7nm 工艺，HBM2 显存
Radeon RX 5700 XT	Navi 10	gfx1010	首代 RDNA 架构，ROCm 6.0+ 有限支持
Radeon RX 6700 XT	Navi 22	gfx1031	RDNA2 架构，主流 ROCm 兼容型号
Radeon RX 6900 XT	Navi 21	gfx1030	旗舰 RDNA2，ROCm 官方支持
Radeon RX 7900 XTX	Navi 31	gfx1100	RDNA3 架构，需 ROCm 5.6+

专业卡/计算卡对照

显卡型号	GFX 代号	用途场景
AMD Instinct MI50	gfx906	计算卡（Vega 20）
AMD Instinct MI210	gfx90a	CDNA2 架构，专为 HPC/AI 优化
AMD Instinct MI300	gfx940	CDNA3 + Zen4 混合架构

APU/集成显卡对照

型号示例	GFX 代号	架构说明
Ryzen 5 5600G	gfx902	Vega 架构，ROCm 不支持
Ryzen 7 7840HS	gfx1103	移动端 RDNA3（Phoenix APU）

2.3 重启Ollama

再次查看性能，如果专用显存占用有提升，说明DeepSeek已经在显卡中运行。

2.4 UI界面

安装page assist拓展，可以使用Ollama的UI界面。

此拓展需要在谷歌浏览器或火狐浏览器中安装，其中谷歌浏览器的拓展商店需要科学上网才能访问。

如果你无法科学上网，可下载安装火狐浏览器，下载地址

下载完成后，点击右上角拼图图标，打开管理扩展，点击下方添加附加组件，搜索page-assist，打开后点击添加到Firefox。

在这里插入图片描述

下载过程可能会比较慢，耐心等待即可。

拓展下载完成后，浏览器右上角会弹窗提示添加，点击添加。

击右上角拼图图标，打开page assist界面，在右上角选择你刚下好的模型，在下方输入框输入内容就可以向deepseek提问了。

在这里插入图片描述

2.5 语言设置

语言设置

点击右上角设置图标，你可以设置语言，如下：

在这里插入图片描述

3.主要问题解答

我该下载使用那个版本的DeepSeek

关于B的选择：

显存	可用	流畅运行	备注
手机	1.5B	1.5B	玩玩可以
核显	8B	4B	主要靠内存
4G及以下	8B	7B及以下	-
8G	14B	8B	10tokens/s左右
16G	32B	14B	理论上
24G	70B	32B	理论上
32G	70B	-	理论上

关于内容使用：

可以使用内存来跑，无非就是慢，2-3tokens/s甚至更低。
适合不关注效率的推理。

关于Q的选择：

如果你通过其他渠道可以下载模型（Ollame默认是4Q）

建议下载4Q以上版本，Q值越低精度越低。
下载高Q值不如下载高B值的模型。

关于下载多版本：

完全可以下载多个版本，哪个好用用哪个，需要哪个用哪个。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述