DeepSeek本地部署并提供远程连接(小白教程)

参考资料:DeepSeek本地搭建部署详细图文教程 - 搬主题

一、DeepSeek介绍

在这里插入图片描述

DeepSeek是一款由国内人工智能公司研发的大型语言模型,拥有强大的自然语言处理能力,能够理解并回答问题,还能辅助写代码、整理资料和解决复杂的数学问题。

与OpenAI开发的ChatGPT相比,DeepSeek不仅率先实现了媲美OpenAI-o1模型的效果,还大幅降低了推理模型的成本。其新模型DeepSeek-R1以十分之一的成本达到了GPT-o1级别的表现,引发海外AI圈的广泛讨论。

二、为什么要本地部署

DeepSeek官网:DeepSeek | 深度求索

目前上DeepSeek官网可以直接免费使用V3、R1等模型,但是由于近期用户量激增,网络不佳以及外网恶意攻击等原因,目前线上服务还不够稳定(2月5号实测),有时候可能会出现如下的报错。

在这里插入图片描述

当然了,本地部署的好处还有更多:

  • 稳定高效:无需担心网络波动问题,本地部署保证模型始终保持正常运作
  • 隐私安全:本地部署能保证数据保存于本地,避免重要数据泄露,保证用户隐私安全
  • 开源自由:用户可根据自身需求进一步改造优化,自定义属于自己的AI工具

三、本地部署教程

相关的安装包我已经上传到网盘,如果官网下载速度较慢,可以直接从网盘下载: 链接: https://pan.baidu.com/s/1MOFsp-3tnBNxGvJYQT_aGw?pwd=nija 提取码: nija

1.安装Ollama

要在本地运行DeepSeek,首先要先安装Ollama,Ollama是一个大语言的服务后台,能够帮助用户在0基础的前提下轻松部署大语言模型。Ollama支持不同系统,如Windows、Linux、MacOS等。

下面我们讲解Windows 11系统下的安装

  1. 安装前需要注意:Windows系统需要在Windows10以上

  2. 下载地址:https://ollama.com

    如下,直接点击 Download 按钮,选择Windows版本下载

在这里插入图片描述

在这里插入图片描述

  1. 下载完后是一个exe文件,直接双击运行,点击install安装即可

  2. 验证

    搜索框搜索cmd,看到命令提示符,点击进入命令行界面,输入ollama help,如果显示如下图的信息,则表示ollama安装成功

在这里插入图片描述

在这里插入图片描述

  1. 配置环境变量,使ollama支持远程连接

    如果你需要用其他设备,如其他电脑或手机去连接我们本地部署的大模型,或者你想分享你本地部署的大模型给其他人用,那就需要配置这一步。

    1. 搜索框搜索 环境变量 ,点击 编辑系统环境变量

在这里插入图片描述

  1. 点击 环境变量

在这里插入图片描述

  1. 找到 XXX的用户变量 ,点击 新建

    新建2个新的变量

    OLLAMA_HOST 值为 0.0.0.0
    OLLAMA_ORIGINS 值为 *

    然后点击 确定

    如下所示

在这里插入图片描述

在这里插入图片描述

2.下载部署DeepSeek模型

在 https://ollama.com/ 网址,搜索框搜索 deepseek-r1

如下图第一个就是我们要下载的大模型
在这里插入图片描述

默认看到的是7b版本的大模型,我们普通用户的电脑配置一般支持下载的就是1.5b和7b的版本,下面是一个模型大小配置参考(参考DeepSeek本地搭建部署详细图文教程 - 搬主题

在这里插入图片描述

我选择的是部署7b的版本,如下图所示,复制右上角命令,然后到cmd界面运行,耐心等待下载即可

在这里插入图片描述

在这里插入图片描述

下载好后,再次运行刚刚复制的命令,我们可以看到如下的效果

在这里插入图片描述

此时就已经可以与AI对话了,输入问题,如下图

在这里插入图片描述

3.安装Chatbox可视化工具

上面步骤完成后,我们只能使用cmd命令行来使用AI大模型,体验感较差,我们可以下载Chatbox来实现可视化界面

下载地址

https://chatboxai.app/zh

官网下载慢可以直接用上面网盘链接下载,也可以不下载客户端,直接用网页版(手机也有APP,使用方法和PC端的客户端一样)
在这里插入图片描述

配置模型,如下图所示(这是本机使用的配置)

在这里插入图片描述

在这里插入图片描述

手机Chatbox APP连接大模型方法如下所示(关闭电脑防火墙,手机连接同一局域网(wifi))【同一局域网的其他电脑连接方法同理】

在这里插入图片描述

在这里插入图片描述

Chatbox里的api域名填写如下 http://ip 加端口 :11434

在这里插入图片描述

在这里插入图片描述

4.非局域网远程连接

如果不是同一局域网的也想要连接本地这台机子部署的DeepSeek,比如我们从家里想访问在公司电脑部署的DeepSeek,可以采用内网穿透的方式,将本地的大模型通过外网地址暴露出去

这里我使用的是 cpolar 进行内网穿透

官网:cpolar官网-安全的内网穿透工具 | 无需公网ip | 远程访问 | 搭建网站

具体使用教程可以看官网的介绍,支持windows、linux、MacOS等系统部署

我们安装好后,创建刚刚本地 http://localhost:11434 地址的隧道即可,如下图所示,生成的随机公网地址就可以提供给外网连接我们本机部署的DeepSeek

在这里插入图片描述

在这里插入图片描述

四、DeepSeek官方开放平台API对接

如果你是软件开发人员,可以再了解下DeepSeek的开放平台

目前DeepSeek官网的开放平台也可正常访问了(2月6日实测)

https://platform.deepseek.com/

每个新人都会增送10元余额可供体验

在这里插入图片描述

我们使用API前需要先创建秘钥

在这里插入图片描述

之后再根据接口文档进行API调用即可,如下图所示,我测试了一个发起对话的API

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值