第二十五篇-Ollama-离线安装

ollama-离线安装,使用离线方式安装ollama

多系统支持

MacOS
	https://ollama.com/download/Ollama-darwin.zip
Linux
	curl -fsSL https://ollama.com/install.sh | sh
Windows
	https://ollama.com/download/OllamaSetup.exe
Github
	https://hub.nuaa.cf/ollama/ollama/releases

下载文件

wget https://hub.nuaa.cf/ollama/ollama/releases/download/v0.1.32/ollama-linux-amd64 -O /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

(下载速度还是可以的，请选择合适版本，一般以最新为主，如何想更新，替换/usr/bin/ollama)

或者

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

(这种地址看你的网速了，大概率有些慢)

创建Ollama用户

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

创建服务文件

/etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
 
[Install]
WantedBy=default.target

服务命令

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl stop ollama 停止需要

下载运行模型

	ollama run qwen:0.5b-chat-v1.5-q4_1

*** 国内也可以下载的 ***

看到如下内容
success 
>>>
可以输入对话内容了
比如
	介绍自己

open-api请求

	curl http://localhost:11434/api/chat -d '{
		"model": "qwen:0.5b-chat-v1.5-q4_1",
		"messages": [
			{ "role": "user", "content": "介绍一下北京景点?" }
		]
	}'

	curl http://localhost:11434/api/generate -d '{
		"model": "qwen:0.5b-chat-v1.5-q4_1",
		"prompt":"介绍一下北京景点?"
	}'

性能

1C2G服务器上运行qwen0.5b-v1.5速度超快，1.8B就不行了很慢，如何升级更高
4c8G服务器上运行

模型版本信息获取

https://ollama.com/library
可以在这里找打所有模型，并查看指定版本命令

第二十四篇-Ollama-在线安装
第二十五篇-Ollama-离线安装
第二十六篇-Ollama-监听本地IP与端口
第二十七篇-Ollama-加载本地模型文件
第二十八篇-Ollama-TeslaP40-Ollama-8B-Qwen1.5-32B等速度
第三十篇-Ollama-TeslaP40-Ollama-Qwen2-57B等速度