动手搭建自己的大模型Ollama 部署和实战
转自:https://zclinux.blog.csdn.net/article/details/141356170?spm=1001.2014.3001.5502
本文只验证搭建,后续的内容可以查看上面的url参照原文继续学习
1. 部署
1.1 Mac & Windows
相对简单,根据你电脑的不同操作系统,下载对应的客户端软件,并安装:
- macOS:https://ollama.com/download/Ollama-darwin.zip
- Windows:https://ollama.com/download/OllamaSetup.exe
1.2 Linux
推荐大家使用 Linux 服务器进行部署,毕竟大模型的对机器配置还是有一定要求。
裸机部署
step 1: 下载 & 安装
命令行一键下载和安装:
curl -fsSL https://ollama.com/install.sh | sh
如果没有报错,它会提示你 ollama 的默认配置文件地址:/etc/systemd/system/ollama.service
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 CLI
######################################################################################################### 100.0%######################################################################################################### 100.0%
>>> Making ollama accessible in the PATH in /usr/local/bin
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
如果报错了:
类似下面的问题:
[root@localhost ~]# curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 CLI
curl: (60) SSL certificate problem: certificate is not yet valid
More details here: https://curl.haxx.se/docs/sslcerts.html
curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned
above.
# 遇到这个问题,是证书存在异常,但具体的原因,应该是你系统的时间与真实时间存在较大差距
# 手动修改linux系统时间后,再次执行命令,即可完成操作安装。
接下来,我们采用如下命令查看下服务状态, running 就没问题了:
[root@localhost ~]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-07-26 14:31:03 CST; 3min 17s ago
Main PID: 3689 (ollama)
Tasks: 12
Memory: 1.2G
CGroup: /system.slice/ollama.service
└─3689 /usr/local/bin/ollama serve
7月 26 14:31:03 localhost.localdomain ollama[3689]: ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAINpRgt9Dt/M6AzjxJxER5Nc>
7月 26 14:31:03 localhost.localdomain ollama[3689]: 2024/07/26 14:31:03 routes.go:1125: INFO server config env=>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.342+08:00 level=INFO source=images>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.342+08:00 level=INFO source=images>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.342+08:00 level=INFO source=routes>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.343+08:00 level=INFO source=payloa>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.054+08:00 level=INFO source=payloa>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.054+08:00 level=INFO source=gpu.go>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.253+08:00 level=INFO source=gpu.go>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.253+08:00 level=INFO source=types.>
查看是否安装成功,出现版本号说明安装成功:
[root@localhost ~]# ollama -v
ollama version is 0.3.6
step 2: 服务启动
浏览器中打开:http://127.0.0.1:11434/,如果出现 Ollama is running,说明服务已经成功运行。
[root@localhost ~]# curl http://127.0.0.1:11434
Ollama is running
## 安装后,默认监听的端口只允许本机访问,下面的配置可以修改
[root@localhost ~]# netstat -anlp| grep 11434
tcp 0 0 127.0.0.1:11434 0.0.0.0:* LISTEN 3689/ollama
step 3: 修改配置(可选)
如果有个性化需求,需要修改默认配置:
配置文件在:/etc/systemd/system/ollama.service,采用任意编辑器打开,推荐 vim
1、默认只能本地访问,如果需要局域网内其他机器也能访问(比如嵌入式设别要访问本地电脑),需要对 HOST 进行配置,开启监听任何来源IP
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
2、如果需要更改模型存放位置,方便管理,需要对 OLLAMA_MODELS 进行配置:
[Service]
Environment="OLLAMA_MODELS=/data/ollama/models"
不同操作系统,模型默认存放在:
macOS: ~/.ollama/models Linux: /usr/share/ollama/.ollama/models Windows: C:\Users\xxx\.ollama\models
3、如果有多张 GPU,可以对 CUDA_VISIBLE_DEVICES 配置,指定运行的 GPU,默认使用多卡。
Environment="CUDA_VISIBLE_DEVICES=0,1"
4、配置修改后,需要重启 ollama
[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl restart ollama
注意:上面两条指令通常需要同时使用:只要你修改了任意服务的配置文件(如 .service 文件),都需要运行systemctl daemon-reload
使更改生效。
重启后的端口,局域网内是可以访问的
[root@localhost ~]# netstat -anlp| grep 11434
tcp6 0 0 :::11434 :::* LISTEN 3858/ollama
Docker 部署
我们也介绍下 Docker 部署,无需配置各种环境,相对小白来说,更加友好。
step 1: 一键安装
如果是一台没有 GPU 的轻量级服务器:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
简单介绍下这个命令的参数:
- docker run:用于创建并启动一个新的 Docker 容器。
- -d:表示以分离模式(后台)运行容器。
- -v ollama:/root/.ollama:将宿主机上的 ollama 目录挂载到容器内的 /root/.ollama 目录,便于数据持久化。
- -p 11434:11434:将宿主机的 11434 端口映射到容器的 11434 端口,使外部可以访问容器服务。
- –name ollama:为新创建的容器指定一个名称为 ollama,便于后续管理。
- –restart always:容器在退出时自动重启,无论是因为错误还是手动停止。
- ollama/ollama:指定要使用的 Docker 镜像,这里是 ollama 镜像。
宿主机上的数据卷 volume 通常在 /var/lib/docker/volumes/,可以采用如下命令进行查看:
[root@instance-20240702-1632 ~]# docker volume ls DRIVER VOLUME NAME local dockers_postgres-data local ollama local open-webui [root@instance-20240702-1632 ~]# ls /var/lib/docker/volumes/ backingFsBlockDev dockers_postgres-data metadata.db ollama open-webui
如果拥有 Nvidia-GPU:
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
安装成功后,注意要给服务器打开 11434 端口的防火墙,然后浏览器打开 http://127.0.0.1:11434/,如果出现 Ollama is running,说明服务已经成功运行。
curl http://127.0.0.1:11434/
step 2: 进入容器
如何进入容器中执行指令呢?
docker exec -it ollama /bin/bash
参数说明:
- exec:在运行中的容器中执行命令。
- -it:表示以交互模式运行,并分配一个伪终端。
- ollama:容器的名称。
- /bin/bash:要执行的命令,这里是打开一个 Bash shell。
执行后,你将进入容器的命令行,和你本地机器上使用没有任何区别。
如果不想进入容器,当然也可以参考如下指令,一键运行容器中的模型:
docker exec -it ollama ollama run qwen2:0.5b
如果一段时间内没有请求,模型会自动下线。
2. 使用
2.1 Ollama 常用命令
Ollama 都有哪些指令?
终端输入 ollama:
Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model pull Pull a model from a registry push Push a model to a registry list List models ps List running models cp Copy a model rm Remove a model help Help about any command Flags: -h, --help help for ollama -v, --version Show version information Use "ollama [command] --help" for more information about a command.
我们翻译过来,和 docker 命令非常类似:
ollama serve # 启动ollama
ollama create # 从模型文件创建模型
ollama show # 显示模型信息
ollama run # 运行模型,会先自动下载模型
ollama pull # 从注册仓库中拉取模型
ollama push # 将模型推送到注册仓库
ollama list # 列出已下载模型
ollama ps # 列出正在运行的模型
ollama cp # 复制模型
ollama rm # 删除模型
2.2 Ollama 模型库
类似 Docker 托管镜像的 Docker Hub,Ollama 也有个 Library 托管支持的大模型。
传送门:https://ollama.com/library
从0.5B 到 236B,各种模型应有尽有,大家可以根据自己的机器配置,选用合适的模型
同时,官方也贴心地给出了不同 RAM 推荐的模型大小,以及命令:
注:至少确保,8GB的 RAM 用于运行 7B 模型,16GB 用于运行 13B 模型,32GB 用于运行 33B
模型。这些模型需经过量化。
因为我的是一台没有 GPU 的轻量级服务器,所以跑一个 0.5B 的 qwen 模型,给大家做下演示:
[root@localhost ~]# ollama run qwen2:0.5b
pulling manifest
pulling 8de95da68dc4... 100% ▕████████████████████████████████████████████████▏ 352 MB
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████▏ 182 B
pulling c156170b718e... 100% ▕████████████████████████████████████████████████▏ 11 KB
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████▏ 59 B
pulling 2184ab82477b... 100% ▕████████████████████████████████████████████████▏ 488 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>> 你是谁
我是来自阿里云的超大规模语言模型——通义千问。我能够理解、生产、传播各种语言和文字,可以回答您在任 何语言或任何问题的问题。
>>> Send a message (/? for help)
退出方法
如果不想使用大模型,要退出的话,执行Ctrl + d快捷键或者/bye即可
>>> Use Ctrl + d or /bye to exit.