阿里巴巴通义千问qwen2系列模型库,已经在ollama上面同步,包括0.5,1.5,7B,72B及量化版本。
在ollama环境下,下载完开始运行1.5b时,报错了。 命令:
ollama run qwen2:1.5b-instruct-q5_K_M
出错信息:
root@b94b2e595740:/# ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 GB
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 182 B
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 11 KB
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 59 B
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
removing any unused layers
success
Error: llama runner process has terminated: signal: aborted (core dumped)
root@b94b2e595740:/# ollama run qwen2:1.5b-instruct-q5_K_M
Error: llama runner process has terminated: signal: aborted (core dumped)
在网上查找资料,该种情况的原因是:qwen2的这些模型,在使用llama.cpp/convert-hf-to-gguf.py 做格式转换时,使用的较高版本的llama.cpp库,而我们使用的版本偏低,导致不兼容。
查看了一下,我的ollama版本:
root@b94b2e595740:/# ollama --version
ollama version is 0.1.38
解决办法:
进入到ollama官网,选择重新下载安装即可。
curl -fsSL https://ollama.com/install.sh | sh
Download Ollama on LinuxGet up and running with large language models.https://ollama.com/download/linux升级后,版本:ollama version is 0.1.42
再次运行成功!
[root@master ~]# ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 GB
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 182 B
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 11 KB
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 59 B
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
removing any unused layers
success