前两天发了一篇[怎么更好使用 DeepSeek 的文章]后,很多朋友在后台留言,希望了解 DeepSeek 的更多玩法。
春节前几天事情较多,这两天终于闲下来了,打算再分享一些自己使用 AI 功能的经验,包括但不限于 DeepSeek。
这一篇先介绍呼声较高的在本地部署 DeepSeek-R1 大语言模型的方案,后续会带来 DeepSeek 平替、DeepSeek 生成图片、视频、构建知识库等一系列文章,敬请期待。
话不多说,我们正式进入今天的主题。
这几天使用 DeepSeek R1 的朋友都知道,整个服务基本不可用,而“联网功能”直到今天才可用。
所以如果有一套备用的 DeepSeek R1 大模型服务,无疑会省事很多。
这个备用方案的部署也很简单,只需要使用 Ollama 来加载 DeepSeek R1 的蒸馏模型就可以了,大伙可以跟着我的流程操作。
安装 Ollama
Ollama 是目前最流行的本地运行大语言模型的开源工具,支持 DeepSeek-R1、Llama 等主流开源大模型的本地化部署。
目前 Ollama 在 Github 上有 12 万的关注量,社区非常活跃。
首先在浏览器中打开 https://ollama.com/download 来下载安装包。
你也可以直接复制下面自己电脑操作系统对应的下载地址,再粘贴到电脑浏览器中下载 Ollama:
-
macOS:https://ollama.com/download/Ollama-darwin.zip
-
Windows: https://ollama.com/download/OllamaSetup.exe
下载完成后,点击下载包安装 Ollama,然后点击 Ollama 图标启动应用,一路点击直到最后一步的提示:
这个提示提醒我们要在终端上运行 llama run llama3.2,我们不用管这个提示,直接点击 Finish 退出安装。
我们已经完成 50% 的部署工作了,是不是很简单?
运行 DeepSeek R1 模型
接着运行 DeepSeek R1 模型。
在浏览器中打开 https://ollama.com/search ,可以看到非常多的模型,比如 Meta 开源的 llama3.3,阿里开源的 Qwen。
我们找到 deepseek-r1,点击进入 https://ollama.com/library/deepseek-r1 页面:
左边下拉框有十几个基于 DeepSeek R1 蒸馏出来的模型,每个模型都展示了大小。右边是模型的运行命令。
之前 DeepSeek R1 官方拿 DeepSeek-R1-32b 和一些模型做过对比测试。
从上图可知,DeepSeek-R1-32b 相对于 DeepSeek R1 逊色一些,但其模型大小只有 20GB,蛮适合在我们个人电脑上部署的。
虽然模型越大效果越好,但也会消耗更多的磁盘和内存资源。所以你需要根据自己电脑的配置来选择运行的版本。
内存够大就选 32b,内存低于 16G 使用 7b 和 8b 的版本就行了。
为简单起见,这里我以默认的 7b 参数为例继续说流程。
复制右边的 ollama run deepseek-r1 命令,在电脑的命令行终端执行,等待下载完成。
当提示 success 时,表示下载完成,此时我们就可以和它聊天啦!
如果我们想退出聊天的话,输入 /bye 即可。
至此本地化部署 DeepSeek R1 就完成了。
不过大家发现没有,在终端与 DeepSeek R1 聊天太不方便了,而 Ollama 又只提供了命令行的交互方式。
好在社区有非常多的开源客户端软件都支持使用 Ollama,我们可以访问 https://github.com/ollama/ollama?tab=readme-ov-file#community-integrations ,选择一款自己喜欢的软件来使用 Ollama。
下面我就介绍几款比较流行的客户端软件,各位可以根据自己的喜好选择一个安装即可。
Chatbox
Chatbox 提供了桌面版、手机版、网页版等多种访问 Ollama 的方式,并且支持部分模型(暂不包括 DeepSeek)的“联网查询”功能。
这里我介绍下 Chatbox 桌面版和移动版的安装和配置方法。
01
Chatbox 桌面版
在浏览器中打开 https://chatboxai.app/zh#download, 下载并安装 Chatbox,点击启动,会弹出如下对话框,点击“使用自己的 API Key 或本地模型”。
选择 Ollama API,选择模型并保存,然后就可以聊天了。
Chatbox 的聊天界面如下:
可以看到,Chatbox 支持的功能较多,但暂不支持 DeepSeek 的“联网功能”,也不支持语音功能:
虽然 Chatbox 支持上传图片,但本地 DeepSeek 模型还不支持图片识别的功能。
02
Chatbox 移动版
有些朋友想在手机上也安装个 Chatbox 使用,这里我就介绍下如何让手机版的 Chatbox 使用电脑上的 Ollama 模型。
首先我们需要在电脑上调整 Ollama 的配置。
如果你是苹果系统,执行如下命令后再重启 Ollama。
launchctl setenv OLLAMA_HOST "0.0.0.0"``launchctl setenv OLLAMA_ORIGINS "*"
如果你是 Windows 系统,在系统设置中增加如下环境变量后,重启 Ollama:
变量名 | 变量值 |
OLLAMA_HOST | 0.0.0.0 |
OLLAMA_ORIGINS | "*" |
接着查看电脑的局域网 ip,这个可以在网络设置中看到,如我电脑的 ip 是 192.168.31.119。
然后在应用市场搜索 Chatbox ai 并安装。
安装完成后,打开 Chatbox,在设置中配置上电脑 Ollama 的地址:
http://192.168.31.119:11434 (ip 需替换成你自己电脑的 ip),然后选择模型保存即可。
然后就可以在手机上也使用 Chatbox 了。
注意,这种方式只能在电脑 Ollama 运行时,且手机与电脑处于同一局域网(连的是同一个 wifi)才可行。
Chatbox 官网地址:https://chatboxai.app/zh 。
Lobe Chat
Lobe Chat 是另一款热门的 Ollama web 工具,除支持 Ollama 所有本地模型外,其支持几乎所有主流的大语言模型,如 ChatGPT、Claude、Google Gemini 等。
Lobe Chat 提供了 Vercel、Railway 等部署方式,但本地部署的话推荐使用 Docker 。
如果还没安装过 Docker 的话,需先打开Docker 官网地址 https://docs.docker.com/get-started/get-docker/ ,下载 Docker 桌面版并安装。
启动 Docker 桌面版,在搜索框中输入 lobehub/lobe-chat,点击下载。
然后点击 Image,找到 lobe-chat 镜像点击运行,在弹出的对话框中输入容器名:lobe-chat,端口输入 3210,点击运行。
接着在浏览器中打开 localhost:3210,点击右上角的“会话设置”按钮,切换到“语言模型” 设置 Ollama 模型。
接着点击 “获取模型列表” 加载我们下载好的 DeepSeek R1 模型,然后点击检查按钮测试模型是否可用。
配置完成后,回到对话页面,聊天界面如下:
Lobe Chat 支持浏览器和 OpenAI 的语音。但本地模式不支持上传图片、文件功能,也不支持联网搜索功能。
官网地址:https://lobehub.com/zh。
Open WebUI
Open WebUI 是一款精简的 Ollama 浏览器工具,和 Lobe Chat 一样,也是推荐使用 docker 运行。
首先在终端运行如下命令拉取镜像并运行容器:
docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
接着在浏览器中打开 localhost:8080,点击开始使用。
设置管理员信息。
然后点击右上角的“设置”,然后点击“管理员设置” -> “模型”,可以看到已经为我们加载好了模型。
回到聊天界面开始聊天,如下:
Open WebUI 支持语音识别、文件上传等功能,不支持联网搜索功能。
官网地址:https://docs.openwebui.com/
github 地址:https://github.com/open-webui/open-webui
大家可以根据自己的喜好选择一个桌面版安装就行了。
对于本地大语言模型而言,我觉得一般只适合做官方的备份,大多数人没必要自己在本地弄一套大语言模型。
一是本地模型的参数较小,效果没官方好。
二是功能也没官网的功能丰富。
三是 DeepSeek 免费的额度也够我们用了。
我能想到的一个应用场景,是有些笔记管理软件支持 Ollama,所以对经常写作的朋友来说,部署一套本地大语言模型的话,直接在笔记软件中使用 AI 能力,能大大提高效果,算是一个不错的选项。
大家还有其他比较好的应用场景推荐吗?欢迎在评论区留言与我探讨。
AI大模型学习路线
如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!
扫描下方csdn官方合作二维码获取哦!
这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
