ollama Linux部署

ollama Linux部署

前言

为了部署本地大模型并建立专属知识库，可以使用ollama快速部署本地大模型服务。

原文博客地址：ollama Linux部署 | 旅程blog (cxy.red)

1. 下载ollama

官方下载地址：curl -fsSL https://ollama.com/install.sh | sh​

2. 环境配置

安装完成后，默认的网络配置将Ollama设置为仅在本地网络环境中运行，这意味着只有安装Ollama的主机能够访问该服务。如果希望从外部网络访问Ollama服务，需要进行相应的网络配置调整。

修改ollama配置使其可以监听0.0.0.0和修改端口，可以实现非本地访问

2.1 修改文件

使用命令：vi /etc/systemd/system/ollama.service​，添加：Environment="OLLAMA_HOST=0.0.0.0:11434"​，然后按下Esc，键入:wq​保存更改

​​

2.2 重现加载

sudo systemctl daemon-reload

sudo systemctl restart ollama

3. 测试

3.1 网路配置检测

终端输入ip addr​查看

​​

然后打开浏览器测试输入：ip地址:11434

​​

出现ollama is running，表示配置成功

3.2 模型测试

​​

参考文献

1. ollama/docs/linux.md at main · ollama/ollama · GitHub

‍