ollama离线部署

1.下载复制ollama安装文件

在github上根据自己电脑cpu架构下载对应的ollama安装包，这里以amd为例子

查看cpu架构使用lscpu

将下载的安装包文件移动到/usr/bin/ollama

mv ollama-linux-amd64 /usr/bin/ollama

添加权限

sudo chmod +x /usr/bin/ollama

2.创建Ollama用户

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

3.创建服务文件

/etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

​
[Install]
WantedBy=default.target

3.1ollama常用环境变量

用到哪个环境变量就加到服务文件中

​
Environment="OLLAMA_NUM_PARALLEL=4"
OLLAMA_HOST=0.0.0.0 ：
我们可以让Ollama监听所有可用的网络接口，从而允许外部网络访问。
​
OLLAMA_MODELS=F:\OllamaCache ：
这个变量指定了模型镜像的存储路径。通过设置，我们可以将模型镜像存储在E盘，避免C盘空间不足的问题。
​
OLLAMA_KEEP_ALIVE=24h ：
这个变量控制模型在内存中的存活时间。设置可以让模型在内存中保持24小时，提高访问速度。
​
OLLAMA_PORT=8080 ：
这个变量允许我们更改Ollama的默认端口。例如，设置可以将服务端口从默认的11434更改为8080。
​
OLLAMA_NUM_PARALLEL=4：
这个变量决定了Ollama可以同时处理的用户请求数量。设置可以让Ollama同时处理两个并发请求。
​
OLLAMA_MAX_LOADED_MODELS：
这个变量限制了Ollama可以同时加载的模型数量。设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配

启动服务命令

sudo systemctl daemon-reload

sudo systemctl enable ollama

sudo systemctl restart ollama //停止ollama

sudo systemctl start ollama //启动ollama

sudo systemctl stop ollama //停止ollama

4.替换模型文件

4.1不更改默认模型文件路径

rm -r /usr/share/ollama/.ollama/models //删除原模型文件

mv /home/models /usr/share/ollama/.ollama //替换模型文件

4.2更改模型文件

在线机器上使用ollama提前下载好模型，将模型文件models直接拷贝到系统中，在服务文件中设置存放模型文件的环境变量即可