ollama模型CPU轻量化部署

一、定义

1. ollama 定义
2. 环境部署
3. demo
4. 加载本地模型方法
5. 基本指令
6. 关闭开启ollama
7. ollama 如何同时 运行多个模型, 多进程
8. ollama 如何分配gpu
9. 修改模型的存储路径
10. 后台运行

二、实现

1. ollama 定义
   ollama 是llama-cpp 的进一步封装，更加简单易用，类似于docker.
   模型网址：https://www.ollama.com/
   部署网址：https://github.com/ollama/ollama
   教程：https://github.com/ollama/ollama/releases
2. 环境部署
   1. 宿主机安装
   curl -fsSL https://ollama.com/install.sh | sh
   
   curl http://localhost:11434 已经启动。

远程访问配置：
>>sudo vi /etc/systemd/system/ollama.service
对于每个环境变量，在 [Service] 部分下添加一行 Environment：
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
保存并退出。
重新加载 systemd 并重新启动 Ollama：
>>systemctl daemon-reload
>>systemctl restart ollama

2. docker 模式安装
https://hub.docker.com/r/ollama/ollama

docker pull ollama/ollama
cpu:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
gpu:
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

3. 案例
   1.加载模型/运行模型