centos7 部署 Ollama,过程及遇到的问题(下篇)

异常处理

1、OllamaAi设置外网访问

Ollama在linux环境中如何支持外部或者宿主机通过IP访问其接口
1、首先停止ollama服务:systemctl stop ollama
2、修改ollama的service文件:/etc/systemd/system/ollama.service
在[Service]下边增加一行:Environment=“OLLAMA_HOST=0.0.0.0:8080”,端口根据实际情况修改
3、重载daemon文件 systemctl daemon-reload
4、启动ollama服务 systemctl start ollama

Ollama在windows环境中如何支持通过IP来访问接口
1、首先停止ollama服务的允许。由于windows下安装的ollama不是一个标准的windows service,所以只能直接杀掉两个ollama进程。
2、为当前windows系统添加环境变量:电脑-属性-高级系统设置-环境变量
变量:OLLAMA_HOST,值:0.0.0.0:11434
3、关掉已打开的命令行窗口,打开新命令行,用ollama serve或者ollama start来启动ollama服务,此时ollama服务在启动时将读取环境变量中的OLLAMA_HOST,支持IP端口访问

2、通过Ollama 启动模型后,只能本地访问的问题

1.服务器的防火墙是否开启

2.检查云服务器的安全组,是否放行

3.ollama通过设置环境变量,来设置允许外网访问
export OLLAMA_HOST=0.0.0.0:11434

3、异常:Error: could not connect to ollama app, is it running? 

systemctl status ollama

 针对这种情况 (https://github.com/ollama/ollama/issues/2928给出了答案),简单说就是由于我们修改了端口号会导致ollama list、ollama ps 等命令无法执行,只能执行ollama --version.我们带着端口号去访问即可

OLLAMA_HOST=127.0.0.1:9090 ollama list
OLLAMA_HOST=127.0.0.1:9090 ollama ps

4、可以通过其他同网段局域网进行浏览器访问“http://xxxxxxxx:9090”,会返回如下 

5、截止目前成功部署,可能会很慢,那么就是服务器问题 

### 如何在 CentOS 7安装和配置 Ollama #### 准备环境 为了确保顺利安装,需先更新系统软件包并安装必要的依赖项。 ```bash sudo yum update -y sudo yum install epel-y ``` 这些命令会更新现有软件包列表,并安装 Python 的 pip 工具用于后续操作[^2]。 #### 配置 Docker 环境 由于 Ollama 基于容器化技术运行,因此需要预先设置好 Docker 运行环境。这一步骤对于成功部署至关重要。 ```bash # 更新 systemd 并重启 Docker 服务以应用更改 sudo systemctl daemon-reload sudo systemctl restart docker ``` 上述指令可以保证 Docker 能够识别最新的配置文件变化[^4]。 #### 获取 Ollama 容器镜像 通过拉取官方提供的最新版本镜像来获取 Ollama 应用程序实例。 ```bash docker pull ollama/ollama:latest ``` 接着创建一个新的名为 `ollama` 的容器实例: ```bash docker run -d --gpus=all \ -v ollama:/home/Ollama/.ollama \ -p 11434:11434 \ --name ollama \ ollama/ollama ``` 此过程将下载所需资源并将端口映射到主机上以便访问 API 接口。 #### 设置为开机自启的服务 为了让 Ollama 可以随操作系统自动启动,在 `/etc/systemd/system/` 下新建一个 service 文件定义其行为模式。 编辑新建立的服务单元文件,添加如下内容: ```ini [Unit] Description=Ollama Service After=docker.service [Service] ExecStart=/usr/bin/docker start -a ollama ExecStop=/usr/bin/docker stop -t 2 ollama Restart=on-failure Environment="OLLAMA_HOST=0.0.0.0" [Install] WantedBy=default.target ``` 完成编写后保存退出(`ESC`, 输入`:wq`),再执行以下两条命令使修改生效: ```bash sudo systemctl enable ollama sudo systemctl start ollama ``` 最后验证是否正常工作可以通过浏览器打开 http://localhost:11434 或者使用 curl 测试API接口返回情况[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值