【人工智能】Windows上部署并在另一台设备远程调用Deepseek模型

已于 2025-02-15 11:07:47 修改
阅读量1.2k 收藏 27
点赞数 14
文章标签： windows 人工智能
于 2025-02-14 21:14:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56649785/article/details/145640628
版权

1.Windows上模型部署

根据之前所述的deepseek部署教程，在性能较好的windows电脑上进行本地模型部署。

参考：【人工智能】Deepseek在windows电脑上的部署-CSDN博客https://blog.csdn.net/weixin_56649785/article/details/145534650?spm=1001.2014.3001.5501

主要完成：

1.下载ollama并安装

2.修改模型存放路径

3.下载自己所需的ollama模型

2.Windows上配置说明

        在完成上述操作后，我们就可以完成在本地调用ollama模型了；为了完成远程调用，需要对我们完成第一步的电脑进行一些配置：

a.设置环境变量

        为了让局域网内的其他设备能够访问Ollama服务，需要设置环境变量OLLAMA_HOST，使其监听局域网的IP地址。具体步骤如下：

  • 右键点击“此电脑”或“计算机”，选择“属性”。
  • 在左侧点击“高级系统设置”。
  • 在弹出的窗口中，点击“环境变量”。
  • 在“系统变量”部分，点击“新建”。
  • 在“变量名”输入框中输入OLLAMA_HOST，在“变量值”输入框中输入0.0.0.0，然后点击“确定”。
  • 同理，添加OLLAMA_ORIGINS，变量值：*，然后全部点击确定。
  • 设置完成后，关闭并重新打开命令行窗口与ollama软件，使新的环境变量生效。

b. 开放防火墙端口

        为了使其他设备能够访问Ollama服务，还需要在Windows防火墙中开放Ollama服务使用的端口（例如11434）。可以通过图形界面或命令行来完成设置。图形界面设置步骤如下：

  • 打开“控制面板”，搜索并选择“Windows Defender 防火墙”。
  • 在左侧点击“高级设置”，进入高级防火墙设置页面。
  • 在左侧菜单中，点击“入站规则”，然后在右侧点击“新建规则”。
  • 选择“端口”作为规则类型，然后点击“下一步”。
  • 选择“TCP”，并在“特定本地端口”一栏中输入11434，然后点击“下一步”。
  • 选择“允许连接”，点击“下一步”。
  • 根据需求选择应用的网络类型（域、专用或公用），点击“下一步”。
  • 为这条规则命名（如“Allow Ollama Port 11434”），然后点击“完成”。

         完成上述设置后，Ollama服务应该可以通过局域网中的其他设备访问。

3.同一局域网下访问设备设置

        以自己性能较差的电脑作为访问设备对模型进行访问，完成远程调用，这里依然是在同一局域网下操作。

        如何测试两台设备处于统一局域网，参考：

如何判断两台设备是否在同一局域网内_如何判断两个设备在同一局域网-CSDN博客https://blog.csdn.net/guojunxiu/article/details/88778766

a.下载Chatbox

        在我们自己需要提问的电脑上进入chatbox官网下载chatbox软件并安装。

b.软件设置

        （1）首先获取完成了步骤一电脑的局域网络ip地址，这里确保两台设备在同一网络的前提下，使用Win+R输入cmd打开终端，使用ipconfig来查询该电脑的ip地址。如图，我这里使用wifi故ip地址为192.168.31.195。

        （2）下载完成后chatbox后如图所示，选择模型提供方为OLLAMA API，将API域名处中间的127.0.0.1修改为刚才查询到的ip地址。此时就可以选择模型了，这里选择到的模型就是之前电脑上的模型。

 此时，就可以进行测试了，测试参考：

【人工智能】Deepseek小模型测试-CSDN博客https://blog.csdn.net/weixin_56649785/article/details/143617643?spm=1001.2014.3001.5501

4.不同网络下访问设备设置

1. 安装Cpolar

        要实现Ollama的外网访问，可以使用Cpolar进行内网穿透。首先，从Cpolar的官方网站注册一个账号，并下载最新版本的Cpolar安装程序。安装完成后，使用Cpolar账号登录。

2. 配置Cpolar隧道

登录Cpolar后，在Web配置界面中创建一个新的隧道。具体步骤如下：

  • 登录Cpolar的Web UI管理界面。
  • 点击左侧仪表盘的“隧道管理”——“创建隧道”。
  • 填写隧道名称（可自定义），选择协议，并设置本地地址为Ollama服务的端口（例如11434）。
  • 选择域名类型为二级子域名，并设置地区为中国VIP。
  • 复制并保留生成的二级子域名。

3. 配置Ollama服务

在Windows上，还需要配置Ollama服务以支持外网访问。具体步骤如下：

  • 点击“控制面板”，进入编辑系统环境变量。
  • 在系统变量下新建名为OLLAMA_ORIGINS的环境变量，值为*。
  • 确保OLLAMA_HOST环境变量的值仍为0.0.0.0。
  • 重启Ollama服务。

4. 测试外网访问

        完成上述配置后，可以通过Cpolar生成的公网地址访问Ollama服务。在浏览器中输入公网地址和端口号（如http://<cpolar生成的二级子域名>:11434），如果服务成功启动，页面应显示Ollama API的相关信息。

如何在个人电脑本地化部署Deepseek-R1大模型
program哲学
02-12 1453
本文主要介绍如何在个人电脑本地部署deepseek r1大模型，同时扩展了deepseek介绍、满血版DeepR1使用方式等内容
windows/macos本地部署deepseek 14b模型，并设置共享访问
weixin_44284484的博客
02-16 1498
注：macos当服务器时，在回答问题结束后会自动释放内存。使用pc时，是可以使用GPU的共享内存的，但是由于参数量大小不一致，可能导致大的模型出结果的速度非常慢。3.下载后要保持Ollama在后台运行。点击红色框的复制按钮，进入管理员的powershell，直接粘贴点回车就开始下载了。然后就可以在pc上的ChatBox上配置Tailscale的ip。下载后先安装Ollama，然后安装Chatbox。注意，端口号不需要修改，只需要修改前面的ip地址。打开这个网址，选择自己需要的模型。这个地方选择自己的模型。
Ollama部署大模型后如何在其他电脑使用API调用
10-14 5381
在 Windows 上使用 Ollama 配置本地及外网访问:1、右击点击任务栏图标，选择「Quit Ollama」退出后台运行。新增环境变量，变量名为OLLAMA_HOST，变量值为:11434。3、重启Ollama，浏览器访问。
基于Windows系统本地deepseek的本机调用和内网跨终端调用
weixin_45010846的博客
02-28 327
B.通过三方开源软件调用本地模型，在部署模型的电脑上，安装三方调用软件，如Cherry Studio、Chatbox、anythingLLM等，然后在连接时候API地址填写127.0.0.1:11434 不同调用软件连接方式基本相同，参考如下方式即可。B.连接软件的API地址中输入部署设备IP:11434 进行调用，如上本地调用的的地址换成下图即可，假设部署电脑IP是XX.XX.XX.XX，API地址为http://XX.XX.XX.XX:11434。一．Cherry Studio 连接如下图。
（手动）在服务器上部署模型记录
m0_74645064的博客
10-14 559
服务器上部署模型
DeepSeek笔记（二）：DeepSeek局域网访问
userhu2012的博客
02-16 2852
如果有多台电脑，可以通过远程访问，实现在局域网环境下多台电脑共享使用DeepSeek模型。在本笔记中，首先介绍设置局域网多台电脑访问DeepSeek-R1模型。
不同主机ollama模型迁移
weixin_47249499的博客
12-20 2542
下载模型后在模型存储路径对模型进行打包，我的模型存储路径为默认路径，也就是/usr/share/ollama/.ollama/models。在终端输入如下命令，对文件进行打包，打包后获得blobs.tar和glm4.tar。完成上述操作后，进行查看模型是否迁移成功。将tar上传至目标主机目录，并进行解压。将模型文件以及配置文件移动到指定目录下。在有网络的主机下载模型。
Windows本地部署DeepSeek-R1大模型并使用web界面远程交互
等风来
02-06 5673
最近爆火的国产AI大模型Deepseek详细大家都不陌生，不过除了在手机上安装APP或者官网在线体验，我们其实完全可以在自己的Windows电脑上本地进行部署，并结合cpolar内网穿透工具轻松实现远程交互，带来更方便快捷的体验。之前就和大家分享过本地运行 AI 模型具有很多优势，比如隐私安全：你的所有数据都保留在你自己的机器上，不存在共享敏感信息的风险。快速响应：官方及三方访问量过大，延迟非常高，造成卡顿，本地部署大模型可以避免这种情况。
Deepseek模型服务器部署，本地电脑远程访问（100%可行）
xiangerersheng的博客
02-14 1898
大家好，最近Deepseek可谓是火出圈在国内外，其依靠低成本，高性能可以比肩Openai的chatgpt。但是，由于其过于火爆，因此官网访问时经常会显示【服务器繁忙】，通过自己部署大模型，我们就不必受此困扰了。大模型的部署要求一般较高，通常的电脑配置难以带动性能较高的模型，而如果我们有一台配置较高的服务器，那么就可以在服务器上部署模型，然后本地电脑访问即可，接下来，我们就以Deepseek为例，来教大家如何做。
【AI大模型】Cherry Studio和Deepseek模型搭建本地知识库+硅基流动API调用+本地ollama模型调用
LeonJin的博客
02-08 3179
构建知识库的技术路径并不难理解，cherry studio给出了很完整的解决方案和工程实现demo从结果完整度来看，deepseek-r1 > deepseek-v3 > deepseek-r1:14b从耗时情况来看，deepseek-r1:14b < deepseek-v3 < deepseek-r1 (不排除云端资源紧张导致耗时增加)基本上可以确认基于推理模型和嵌入模型以及一系列的知识前处理和后处理工具可以搭建出一个本地知识库。
Linux开机挂载共享文件夹的方法
skyyx2002的博客
07-04 3699
共享主机无论是Windows还是Linux，也不管是匿名共享还是需要用户名密码访问
本地部署模型全攻略阶段二_2
qq_35221855的博客
02-10 1297
局域网内多主机通过 Chatbox 访问 Ollama 大模型教程
全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！
lythinking的博客
04-15 7009
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。若使用Hugging Face，需要申请 API Key 并且需要本地有 Python 或其他编程语言的环境。而使用Ollama则更加简单。✨ AI算法工程师 | AIGC技术实践者 🚀🎵 知音难求，自我修炼亦艰。📚 吾生也有涯，而知也无涯。🌌 AIGC时代，立志成为超级个体：抓住前沿技术的机遇，与我们一起成为创新的超级个体。✉️ 回复“群聊”，就能和大家嗨聊！
Ollama离线迁移模型，不联网从一台电脑复制到另一台电脑
热门推荐
sagima_sdu的博客
12-02 1万+
一般来说，Ollama 在本地存储模型的位置可能在用户目录下的某个特定文件夹中，比如在 Linux 系统下可能类似。保密项目，电脑不能联网，想要把笔记本上Ollama下载下来的模型通过离线的方式，如U盘、光驱等传给不联网的电脑。然后记录一下，这是我2024/7/11 19.52下载的模型，然后把这个文件夹里所有这一时间的文件都复制出来吧。在Ollama的模型存放目录下，有两个文件夹，一个叫blobs，另一个叫manifests。确认能够在模型列表里看到刚刚迁移过来的模型，然后测试。
【干货教程】在Windows计算机部署DeepSeek大模型，给在实验室无外网的同事们用（基于Ollama和OpenWebUI）
02-07 4992
【保姆级万字教程】在Windows计算机部署DeepSeek大模型，给在实验室无外网的同事们用（基于Ollama和OpenWebUI）
Deepseek本地部署指南：在linux服务器部署，在mac远程web-ui访问
卡拉米
02-21 5478
通过以上步骤，您可以在Linux服务器上成功部署Deepseek模型，并在Mac上实现远程Web-UI访问。应显示Ollama的版本号，表明连接成功。替换为实际的PATH环境变量内容。
DeepSeek-R1模型本地部署详细教程。局域网一机部署多机共享，离线使用美滋滋（附教程中所有软件）
02-13 3128
DeepSeek-R1模型本地部署详细教程。局域网一机部署多机共享，离线使用美滋滋（附教程中所有软件）
unbuntu22.04部署deepseek-r1-7b并远程调用api
最新发布
03-31
### 部署 DeepSeek-R1-7B 模型并实现远程访问 #### 准备工作 在 Ubuntu 22.04 上部署 DeepSeek-R1-7B 模型前，需确保系统已更新至最新状态，并安装必要的依赖项。可以通过以下命令完成环境准备： ```bash sudo apt update && sudo apt upgrade -y ``` #### 安装 Git LFS 和克隆模型仓库 由于 DeepSeek-R1-7B 是大型模型文件，推荐使用 Git Large File Storage (LFS) 来管理其下载过程[^3]。 执行以下命令来安装 Git LFS 并克隆模型仓库： ```bash curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get install git-lfs git lfs install git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git cd DeepSeek-R1-Distill-Qwen-7B git lfs pull ``` 上述操作会将模型文件拉取到本地目录中。 #### 使用 Ollama 运行模型 Ollama 提供了一种简单的方式来加载和运行大语言模型。按照以下步骤启动 DeepSeek-R1-7B： 1. **验证 Ollama 是否可用** 如果尚未安装 Ollama，请先完成安装后再继续。之后可以使用 `ollama` 命令运行模型： ```bash ollama run deepseek-r1:7b ``` 此命令会在后台启动模型实例[^1]。 #### 启动 API 服务 为了通过 API 调用模型，需要编写一个简单的 Python 脚本来提供 HTTP 接口。假设脚本名为 `api_test.py`，以下是其实现方式： ```python from flask import Flask, request, jsonify import subprocess app = Flask(__name__) @app.route('/predict', methods=['POST']) def predict(): data = request.json prompt = data.get('prompt') if not prompt: return jsonify({"error": "No prompt provided"}), 400 try: result = subprocess.run( ['ollama', 'run', 'deepseek-r1:7b', '--interactive=false'], input=prompt, text=True, capture_output=True ) output = result.stdout.strip() return jsonify({"response": output}), 200 except Exception as e: return jsonify({"error": str(e)}), 500 if __name__ == '__main__': app.run(host='0.0.0.0', port=8080) ``` 保存该脚本后，可通过以下命令启动 API 服务： ```bash python api_test.py ``` 此时，API 将监听端口 8080，并允许外部客户端发送 POST 请求以获取预测结果[^2]。 #### 测试 API 功能 测试 API 的功能可借助 `curl` 或 Postman 工具。例如，使用以下命令向服务器提交请求： ```bash curl -X POST http://localhost:8080/predict \ -H "Content-Type: application/json" \ -d '{"prompt":"What is the capital of France?"}' ``` 返回的结果应包含模型生成的回答。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值