前言
这两天deepseek大火,大家都在做本地部署,本教程适合有一定软件基础的新手。
本地部署
Part1 准备工作
建议使用VPN进行配置。国外的网站能不能访问凭运气,有VPN会好很多。本教程为N卡教程。
win+r打开cmd,输入nvidia-smi,查看自己适合的cuda版本。
nvidia-smi
前往NVIDIA官网下载cuda和cudnn。选择自己的软件版本。win10 or win11。
cuda下载地址:CUDA Toolkit 12.8 Downloads | NVIDIA Developer
cudnn下载地址:cuDNN 9.7.1 Downloads | NVIDIA Developer
接下来安装conda,正常使用建议安装轻量版的miniconda。内存占用小,而且足够日常使用。
原版anaconda下载地址:
清华大学镜像站:Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
官网:
Download Anaconda Distribution | Anaconda
轻量版miniconda下载地址:
清华大学镜像站:
Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
官网:
Index of / (选择x86-64的windows版本,建议使用latest,如图)
接下来安装ollama,这个软件对小白更加友好,也可使用进阶版选择,如vllm等同类软件。
打开ollama官网:Download Ollama on macOS 进入后选择windows选项。
官网服务器在国外,建议使用VPN下载。国内网络大概需要下一个晚上,实在用不了vpn的可以挂一晚上,差不多早上就下好了。
Part2 开始安装
ollama的安装包下载好后,打开安装。安装完后win+r打开命令提示符(cmd),输入ollama --version验证安装,出现版本信息则安装成功。
ollama --version
ollama安装好后,默认的模型下载地址是在C盘。如果C盘够大,无所谓。可以改为D盘,方法如下:
打开开始菜单,搜索编辑系统环境变量。
接下来打开环境变量。
打开后,在用户变量和系统变量中都新建一条变量,如下:
接下来输入:
变量名:OLLAMA_MODELS
变量值可以根据自己的情况修改,在自己想要的位置新建文件夹,点击文件资源管理器上面的目录框,复制到变量值就行。
用户和系统变量都添加完后,一路点确定,完成设置。
Part3 下载模型
打开cmd,输入ollama pull +想要下载的模型。
具体可供下载的模型请看ollama的library。网址如下:library
比如下载deepseek的r1模型,则输入:
ollama pull deepseek-r1
默认下载的是7b的版本,即70亿参数。可根据自己电脑的情况进行下载。共有7个版本。
1.5b 7b 8b 14b 32b 70b 671b
普通电脑下载1.5b,3060以上可以试试7b和8b,4080即以上可以安装14b,4090和5080、90可以安装32b,如果想尝试70b也可以,但是速度较慢。
想下载不同版本的代码(以14b为例,其他自行替换):
ollama pull deepseek-r1:14b
这两天下载的人较多,可能速度有点慢,这里开不开vpn差不多。如果特别慢可以去huggingface上下载源文件导入到ollama中,但是过程较为繁琐,新手小白不建议尝试。
Part4 运行模型
在cmd中输入:
ollama run deepseek-r1:14b
还是一样,后面的模型大小自行替换。
运行后会转圈圈,等待模型加载好后即可使用了。
到这,本地部署的基本操作就好了。
Part5 美化
在cmd中运行模型,黑底白字,啥都没有,测试用用还好,一直这么用眼睛也受不了。所以美化教程十分重要。
我们将ollama导入到外部的聊天窗口,我这里建议使用chatbox(一个github的项目,30k的star)界面简洁,操作简单。
打开chatbox的官网进行下载:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
建议使用VPN进行下载。
先做好准备工作,在访问时要保证ollama在后台运行,有一下两种方法,效果一样,看自己喜好。
PlanA:
打开cmd,输入:
ollama serve
等到第一段配置信息输出后,进行下面的操作(安装chatbox),全程保持cmd窗口不关闭。
PlanB:
也可以在开始菜单中打开ollama应用,会在任务栏的托盘中显示ollama的图标。出现图标即开始运行了。
cmd和应用打开方式二选一,不要同时打开,会报错!!!
下载后打开,找到左下角的settings(设置),在model(模型)中找到第一个选项Model Provider。选择OLLAMA API。
在底下的API中输入http://127.0.0.1:11434。在下一个选项Models中选择deepseek的模型,也可以选择其他的本地部署过的模型。选择save,即可开始对话。之后就可以尽情享受AI之旅了。每次打开只需将ollama打开,chatbox即可使用。
远程访问
以下所有指令运行时,请务必确保ollama在后台运行。
Part1 局域网部署
打开系统环境变量,还是之前的方式,在用户变量中新建两个变量:
变量名:OLLAMA_ORIGINS
变量值:*
变量名:OLLAMA_HOST
变量值:0.0.0.0
都是固定的,不要修改。
之后就可以在局域网中进行访问了。
在其他设备上访问时,将api替换成:http://192.168.X.X:11434
不要直接照着超
将192.168.X.X更改为本地部署电脑的ip地址,可在cmd中输入ipconfig查看
ipconfig
找到ipv4地址,替换即可。注意:如果安装过虚拟机的,不要复制成vmware的地址啦
之后即可在局域网下远程访问。
Part2 公网远程部署
有的同学可能就问了,这样只能在同一局域网下访问,最多就是在隔壁房间访问,我要是出门也想用怎么办?这时候,就要部署公网状态下的远程访问。
为了实现此功能,我们需要内网穿透。市面上有很多内网穿透软件,比如ngrok,openfrp等,但大多都不免费。我最近发现了一个github的开源项目,完全免费,叫loophole。
这是官网:Download | Loophole
选择cli的windows-64bit版本。
下载后在文件夹下右键,选择在终端中打开,输入
./loophole account login
之后会跳转到登录页面,根据指引注册登录即可。登录后进行下一步操作:
./loophole http 11434 --hostname yourname
把yourname改成你想改的名字,避免重复,就会导致出错,所以最好取个长一点的名字。
在浏览器中输入https://yourname.loophole.site,如果出现ollama is running就说明成功了(字比较小,在左上角)
之后就可以在公网访问了,将chatbox中的api改成:
https://yourname.loophole.site 注意替换yourname
之后出门在外只要保证电脑不关机,ollama在运行,loophole内网穿透,就可以在外远程访问ollama使用deepseek。实测延迟很低,一般感受不到。
可以去华为云阿里云cloudflare等网站注册一个域名,将yourname.loophole.site替换成自己的域名 稍微好记一点,只要在管理页面中的dns选项将自己的域名指向yourname.loophole.site就可以了。
总结
以上就是全部教程,略长,但比较简单,新手小白也可以尝试,如果有问题,评论区讨论。