打造自己的AI工具箱:在一台闲置电脑上搭建deepseek,并共享给其他设备通过chatbox调用
前言
最近比较火的DeepSeek开源的大模型,凭借其强大的性能和灵活性,越来越多地被开发者和研究人员采用。然而,其官网提供的对话功能经常出现“服务器繁忙,请稍后再试”的提示,这让许多用户感到沮丧。而自己进行本地化部署DeepSeek则需要在手机、笔记本等设备上分别来安装,这不仅占用了大量存储空间,还会导致长时间使用时的耗电和发热问题。
为了解决这些痛点,我想到了一个更高效的方案:使用一台闲置电脑作为服务器搭建并运行DeepSeek服务,然后通过API接口共享模型功能。这样,不仅可以避免设备之间的资源冲突,还能显著提升使用体验。以下是我的操作流程和经验总结。
搭建服务器前的准备工作
- 安装ollama
DeepSeek可以通过ollama一键搭建。如果你还没有安装ollama,请从官方网站 https://ollama.com/download下载并安装。安装运行后,会在系统托盘中展示一个ollama的图标。
2.部署deepseek大模型
根据硬件配置选择合适的模型版本。以下是几种常见选项:
- 入门级:1.5B版本,适合初步测试。
- 中端:7B或8B版本,适合大多数消费级GPU。
- 高性能:14B、32B或70B版本,适合高端GPU。
本文以8B版本为例。打开命令行,输入ollama run deepseek-r1:8b,等待下载完成后即可完成DeepSeek的部署。
通过ollama API将deepseek能力共享给其他设备并通过chatbox接入
- 配置ollama的远程访问
ollama默认使用本地网络访问其API端口(11434),但由于默认情况下只能通过本地网络访问,这里需要下载p2link软件 https://www.p2link.cn/docs/download/,以实现对外部设备的接入。
在p2link中添加一条内网穿透映射,将ollama的11434端口映射为一个公网地址。如图:
除此之外,还需要开启ollama远程连接的功能,具体方法官网有介绍。
在 MacOS 上配置
打开命令行终端,输入以下命令:
launchctl setenv OLLAMA_HOST “0.0.0.0”
launchctl setenv OLLAMA_ORIGINS “*”
重启 Ollama 应用,使配置生效。
在 Windows 上配置
在 Windows 上,Ollama 会继承你的用户和系统环境变量。
通过任务栏退出 Ollama。
打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。
点击编辑你账户的环境变量。
为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创> > 建新的变量 OLLAMA_ORIGINS,值为 *。
点击确定/应用以保存设置。
从 Windows 开始菜单启动 Ollama 应用程序。
在 Linux 上配置
如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置环境变量:
调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。
在 [Service] 部分下为每个环境变量添加一行 Environment:
[Service]
Environment=“OLLAMA_HOST=0.0.0.0”
Environment=“OLLAMA_ORIGINS=*”
保存并退出。
重新加载 systemd 并重启 Ollama:
systemctl daemon-reload
systemctl restart ollama
操作完上述步骤后,在外部设备(如手机或笔记本)中p2link映射的公网地址,保存后在chatbox中使用本地部署的deepseek了。