ollama运行qwen2出错Error: llama runner process has terminated: signal: aborted (core dumped) ,已解决

阿里巴巴通义千问qwen2系列模型库,已经在ollama上面同步,包括0.5,1.5,7B,72B及量化版本。
在ollama环境下,下载完开始运行1.5b时,报错了。 命令:
ollama run qwen2:1.5b-instruct-q5_K_M
出错信息:
root@b94b2e595740:/# ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 GB                         
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  182 B                         
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   59 B                         
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
Error: llama runner process has terminated: signal: aborted (core dumped) 
root@b94b2e595740:/# ollama run qwen2:1.5b-instruct-q5_K_M
Error: llama runner process has terminated: signal: aborted (core dumped) 

在网上查找资料,该种情况的原因是:qwen2的这些模型,在使用llama.cpp/convert-hf-to-gguf.py 做格式转换时,使用的较高版本的llama.cpp库,而我们使用的版本偏低,导致不兼容。

查看了一下,我的ollama版本:

root@b94b2e595740:/# ollama --version
ollama version is 0.1.38
解决办法:

进入到ollama官网,选择重新下载安装即可。

curl -fsSL https://ollama.com/install.sh | sh

Download Ollama on LinuxGet up and running with large language models.icon-default.png?t=N7T8https://ollama.com/download/linux升级后,版本:ollama version is 0.1.42

再次运行成功!

[root@master ~]# ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 GB                         
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  182 B                         
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   59 B                         
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 

参考
  • 6
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值