AMD显卡本地部署DeepSeek（附ollama安装包）

大模型部署

已于 2025-04-02 09:51:20 修改

阅读量8.3k

点赞数 20

文章标签：人工智能 LLM 程序员 deepseek AI大模型 ollama AI

于 2025-02-10 17:26:48 首次发布

本文链接：https://blog.csdn.net/huang9604/article/details/145554497

版权

AMD显卡本地部署DeepSeek

问题描述

如果你的DeepSeek只在CPU和内容中运行(显存占用很低)。

或者是你不知道如何在本地部署DeepSeek，那么本篇文章将帮助你解决这个问题。

1. Ollama部署

Ollama是一个开源的大模型管理框架，可以帮助你在本地部署DeepSeek。

你可以从这里访问Ollama的官网下载。

在这里插入图片描述

注意，如果你是AMD显卡，你应该下载Ollama的AMD版本，否则大模型会在CPU上运行，推理效率低。

你可以使用ALT+鼠标左键，在新标签中打开链接，防止此页面丢失。

github：ollama-for-amd

打开后点击右侧Releases标签，进入软件列表，将页面拖至最低部，~~如果你的AMD显卡是6000/7000系列以上（支持ROCm），下载前两个版本，否则下载第三个版本。~~

视频中此部分内容介绍有误，直接下载第四个OllamaSetup.exe安装包即可

在这里插入图片描述

（鉴于很多朋友无法下载ollama，这里给大家整理好了ollama的安装包，扫描领取即可↓↓↓↓）

ollama安装包 macos版本百度网盘：https://pan.baidu.com/s/1lAWA1FrSJl-iEwKx5zfrXw?pwd=cq9j 提取码: cq9j

获取安装包后一路下一步，直至右下角出现羊驼图标，表明Ollama服务已启动。

2. 下载DeepSeek

2.1 下载DeepSeek

在开始菜单处搜索cmd,打开命令行窗口，输入以下命令下载DeepSeek：

ollama run deepseek-r1:1.5b

在这里插入图片描述

当看到有百分比显示时，说明DeepSeek已经开始下载。

如果下载过程较慢，耐心等待即可一般不会卡死。

当屏幕出现send a message时，说明DeepSeek已经下载完毕，可以向他提问了。

在这里插入图片描述

2.2 确认是否在显卡中运行

在开始菜单处搜索任务,打开任务管理器，切至性能，观察专用显存占用情况，如果很低，证明DeepSeek没有在显卡中运行。

如下图所示：

在这里插入图片描述

此时你需要替换部分文件，才能修复此问题。

访问github：v0.6.1.2

如无法访问github，网盘文件中的rocm.zip即为此内容。

页面最低部，根据你的显卡类型，下载对应的文件：

如5700xt就下载：rocm.gfx1010-xnack-.for.hip.sdk.6.1.2.7z

在这里插入图片描述

下载完成后，将解压的内容分别对应替换：

C:\Users\你的用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas.dll

C:\Users\你的用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library

网盘中我将全部gpu_type的内容都下载下来了，你可以根据自己的显卡类型替换。

主流消费级显卡对照

显卡型号	微架构	GFX 代号	备注
Radeon RX 580	Polaris	gfx803	经典 GCN 架构，ROCm 5.0+ 已弃用
Radeon VII	Vega	gfx906	7nm 工艺，HBM2 显存
Radeon RX 5700 XT	Navi 10	gfx1010	首代 RDNA 架构，ROCm 6.0+ 有限支持
Radeon RX 6700 XT	Navi 22	gfx1031	RDNA2 架构，主流 ROCm 兼容型号
Radeon RX 6900 XT	Navi 21	gfx1030	旗舰 RDNA2，ROCm 官方支持
Radeon RX 7900 XTX	Navi 31	gfx1100	RDNA3 架构，需 ROCm 5.6+

专业卡/计算卡对照

显卡型号	GFX 代号	用途场景
AMD Instinct MI50	gfx906	计算卡（Vega 20）
AMD Instinct MI210	gfx90a	CDNA2 架构，专为 HPC/AI 优化
AMD Instinct MI300	gfx940	CDNA3 + Zen4 混合架构

APU/集成显卡对照

型号示例	GFX 代号	架构说明
Ryzen 5 5600G	gfx902	Vega 架构，ROCm 不支持
Ryzen 7 7840HS	gfx1103	移动端 RDNA3（Phoenix APU）

2.3 重启Ollama

再次查看性能，如果专用显存占用有提升，说明DeepSeek已经在显卡中运行。

2.4 UI界面

安装page assist拓展，可以使用Ollama的UI界面。

此拓展需要在谷歌浏览器或火狐浏览器中安装，其中谷歌浏览器的拓展商店需要科学上网才能访问。

如果你无法科学上网，可下载安装火狐浏览器，下载地址

下载完成后，点击右上角拼图图标，打开管理扩展，点击下方添加附加组件，搜索page-assist，打开后点击添加到Firefox。

在这里插入图片描述

下载过程可能会比较慢，耐心等待即可。

拓展下载完成后，浏览器右上角会弹窗提示添加，点击添加。

击右上角拼图图标，打开page assist界面，在右上角选择你刚下好的模型，在下方输入框输入内容就可以向deepseek提问了。

在这里插入图片描述

2.5 语言设置

语言设置

点击右上角设置图标，你可以设置语言，如下：

在这里插入图片描述

3.主要问题解答

我该下载使用那个版本的DeepSeek

关于B的选择：

显存	可用	流畅运行	备注
手机	1.5B	1.5B	玩玩可以
核显	8B	4B	主要靠内存
4G及以下	8B	7B及以下	-
8G	14B	8B	10tokens/s左右
16G	32B	14B	理论上
24G	70B	32B	理论上
32G	70B	-	理论上

关于内容使用：

可以使用内存来跑，无非就是慢，2-3tokens/s甚至更低。
适合不关注效率的推理。

关于Q的选择：

如果你通过其他渠道可以下载模型（Ollame默认是4Q）

建议下载4Q以上版本，Q值越低精度越低。
下载高Q值不如下载高B值的模型。

关于下载多版本：

完全可以下载多个版本，哪个好用用哪个，需要哪个用哪个。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望