有几天没有在Linux服务器上使用ollama运行大模型了。今天登录使用时,遇到了下面这个错误。这里将这个小问题的原因和解决方式简单记录下,以供参详。
(open-webui) [root@master ~]# ollama run qwen2:0.5b-instruct-q5_K_M
Error: [0] server cpu not listed in available servers map[]
首先,从网上找了几个博客经验,比如:修改环境变量, 或者重启服务:
sudo systemctl stop ollama
sudo service ollama restart
sudo systemctl start ollama
sudo service ollama status
发现问题依然存在,无法解决!
后来直接运行ollama serve,结果如下:
(open-webui) [root@master ~]# ollama serve
Error: listen tcp 127.0.0.1:11434: bind: address already in use
从提示来看, 应该是11434 这个端口已经被服务绑定了。
既然如此,那就继续看下,是哪个服务正在使用了这个端口。
(open-webui) [root@master ~]# netstat -anp | grep 11434
tcp 0 0 127.0.0.1:11434 0.0.0.0:* LISTEN 107691/ollama
看起来是107691 这个进程在使用该端口,我们进一步确认下这个进程:
(open-webui) [root@master ~]# ps -ef | grep 107691
root 60085 128950 0 11:32 pts/1 00:00:00 grep --color=auto 107691
root 107691 1 0 Jul02 ? 00:03:52 ollama serve
到这里明白了, 原来是已经有一个ollama serve服务在运行了。
但是该服务可能是出现了某种问题,导致虽然服务存在,但是ollama已经无法启动运行大模型了。
问题分析到这里,也就有了尝试解决思路, 那就是把该进程杀掉,重新启动ollama服务试试看。
(open-webui) [root@master ~]# kill -9 107691
(open-webui) [root@master ~]# nohup ollama serve > log.txt &
[1] 86083
接下来, 我们再次运行大模型,发现结果已经正常了。
ollama run qwen2:0.5b-instruct-q5_K_M