linux系统离线部署deepseek-r1:1.5b

1.先看自己服务器cpu是什么版本

lscpu

如果是x86那就是amd版本,否则就是arm版本
在这里插入图片描述

2.找到相应的ollama压缩包

https://github.com/ollama/ollama/releases

在这里插入图片描述
3.在服务器中解压
3.1 找到空间大的地方,建立一个ollama文件夹,把压缩包上传上去,再解压

tar -xzf ollama-linux-amd64.tgz

在这里插入图片描述
3.2 解压得到两个文件夹,进入到bin文件夹下,得到ollama本体
在这里插入图片描述
3.3 这个时候输入ollama,会提示没有该命令,因为没有设置全局可用
3.3.1 设置软连接

sudo ln -s /root/ollama/bin/ollama /usr/local/bin/ollama

3.3.2看一下生没生效

ls -l /usr/local/bin/ollama

这样说吗可以了
在这里插入图片描述
3.3.3 再设置全局可用

vim ~/.bashrc

将这段命令输入进去,放到最后

export PATH=$PATH:/usr/local/bin

再刷新缓存

 source ~/.bashrc

3.4 随便找个地方,输入ollama,发现可用即可
在这里插入图片描述
3.5 配置ollama的配置文件
在目录/etc/systemd/system下创建文件ollama.service
要对这个文件进行权限控制

chmod +x ollama.service

输入文件中这些命令

[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/root/ollama/bin/ollama serve
User=root
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11434"
​
[Install]
WantedBy=default.target

3.6 输入以下命令启动ollama

 sudo systemctl daemon-reload

sudo systemctl restart ollama.service

观察是否生效

 sudo systemctl status ollama.service

在这里插入图片描述
3.7 最后查看端口11434是不是都可被监听,只要不是localhost11434或者127.0.0.1就行,如下即可。

 sudo netstat -tul

在这里插入图片描述
4 ollama 下载deepseek-r1:1.5b
我是为了节约流量,直接运行的,同样道理,把文件拷贝到下方的目录下即可
补充:(从能连网的服务器上下载deepseek,拿到这两个文件,再拷贝的下方目录)

ollama run deepseek-r1:1.5b

文件下载到了/root/.ollama/models下
在这里插入图片描述

### 离线安装 DeepSeek-R1:7B 模型于 Ubuntu 系统 对于在Ubuntu系统离线安装DeepSeek-R1:7B模型,确保显卡驱动及CUDA已正确配置完毕[^2]。由于目标是在无网络连接的情况下完成安装,前期准备阶段需要在一个有互联网访问权限的环境中获取所需资源。 #### 准备工作 - **下载依赖包**:在联网机器上依据目标系统的软件需求列表下载所有必要的.deb文件以及其他可能需要用到的库文件。 - **克隆仓库**:利用具备网络接入能力的设备执行`git clone https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B`命令来获取模型及相关脚本[^1]。 - **收集Ollama二进制文件**:同样地,在能够上网的地方下载适用于Linux平台的最新版ollama工具链,并将其传输至待部署的目标主机。 #### 部署流程 将上述获得的所有资料通过USB或其他方式转移到未连接公网的目标Ubuntu计算机内: ```bash # 解压并移动到合适位置 tar -xvf ollama-linux-amd64.tar.gz sudo mv ollama /usr/local/bin/ ``` 接着按照官方文档指示设置环境变量,使ollama可被全局调用。随后把之前复制过来的DeepSeek-R1 Distilled Qwen 7B版本解压缩放置指定路径下。 最后启动服务端程序并通过Open WebUI界面加载预训练好的AI模型实例化运行。 为了实现完全离线化的操作体验,建议提前熟悉整个过程中的每一步骤细节,特别是针对可能出现的问题做好预案处理措施。
评论 17
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值