通过环境变量配置 Ollama 的远程访问

一、配置环境变量

1. 设置监听地址和端口

   • 使用 OLLAMA_HOST 和 OLLAMA_PORT 环境变量指定监听地址和端口。
   • 示例：

     export OLLAMA_HOST=0.0.0.0
     export OLLAMA_PORT=11434
     

   • 解释：
     • OLLAMA_HOST=0.0.0.0：监听所有网络接口，允许远程访问。
     • OLLAMA_PORT=11434：指定监听端口为 11434。

2. 持久化环境变量

   • 将环境变量添加到用户配置文件（如 ~/.bashrc 或 ~/.zshrc）：

     echo 'export OLLAMA_HOST=0.0.0.0' >> ~/.bashrc
     echo 'export OLLAMA_PORT=11434' >> ~/.bashrc
     source ~/.bashrc
     

---

二、重启 Ollama 服务

1. 重启服务

   • 执行以下命令重启 Ollama 服务：

     sudo systemctl restart ollama
     

2. 验证配置

   • 使用 netstat 或 ss 检查服务是否监听正确地址：

     sudo netstat -tuln | grep 11434
     

   • 输出示例：

     tcp        0      0 0.0.0.0:11434           0.0.0.0:*               LISTEN
     

---

三、远程客户端访问

1. 配置客户端

   • 在远程客户端中，将 Ollama 地址设置为 http://<服务器IP>:11434。
   • Python 示例：

     from llama_index.llms.ollama import Ollama
     
     llm = Ollama(base_url="http://<服务器IP>:11434", model="llama2")
     response = llm.complete("Hello, world!")
     print(response)
     

2. 验证连接

   • 使用 curl 测试远程访问：

     curl http://<服务器IP>:11434/api/version
     

---

四、安全加固

1. 防火墙配置

   • 开放 11434 端口：

     sudo ufw allow 11434/tcp
     sudo ufw reload
     

2. 限制访问 IP

   • 使用防火墙规则限制仅允许特定 IP 访问：

     sudo ufw allow from 192.168.1.0/24 to any port 11434
     sudo ufw deny 11434/tcp
     sudo ufw reload
     

3. 启用身份验证（可选）

   • 在 Ollama 服务前配置 Nginx 反向代理，并启用 Basic Auth。

---

总结

通过环境变量配置 Ollama 的远程访问，简单且灵活，适合快速部署。关键步骤包括：

1. 设置 OLLAMA_HOST 和 OLLAMA_PORT 环境变量。
2. 重启 Ollama 服务并验证监听状态。
3. 配置远程客户端访问并加强安全防护。

如需更高级的安全控制，可结合 Nginx 反向代理和 HTTPS 加密。