Error: something went wrong, please see the ollama server logs for details

分类保

已于 2024-08-01 10:30:52 修改

阅读量2.8k

点赞数 6

文章标签：人工智能 llama python

于 2024-07-31 11:48:17 首次发布

本文链接：https://blog.csdn.net/qq_37117980/article/details/140817984

版权

环境：linux-centos，拥抱一下大模型。

这个问题着实是让人摸不着头脑，各个网站还搜不到解决方法，github上一哥们的回答才解决了我这个问题。得记录下，方便大家以后能够快速解决这个问题。
https://github.com/ollama/ollama/blob/main/docs/api.md#list-running-models，去ollamagithub教程文档的api.md这一部分，找对应的curl命令，在终端执行curl命令即可。
感兴趣的话可以看下下面的解决过程。困扰了段时间。希望有帮助哦，记得点个赞👍，评论交流哦。

使用ollama部署大模型，其中包含自己下载的量化模型，以及从ollama官方库中pull的模型。
基于服务器映射出来的端口，使用chatbox来实现windows界面端的大模型交互。
ollama部署大模型（量化的）可参考其他同学博客。eg：https://zhuanlan.zhihu.com/p/694331045
我的ollama、大模型、chatbox都配置好之后，我想再新增两个大模型，但是在服务器上执行ollama list和ollama ps等消息都报错：Error: something went wrong, please see the ollama server logs for details，一头雾水，日志也查不到，一点返回消息也没有。

翻了翻国内的文章，没找到，搬运下。
翻了翻github等网站，找到了两个对该问题有启发的回答：
- 其一：
  – 大概意思是ollama在等你的请求，因为ollama的各种指令都算的上是api的调用。比如pull就是api/pull，执行命令后没反应就说明你没请求过来。
- 其二：
  – 大概意思就是不在服务端执行命令，通过curl的方式调用api。
我在另一台机器上同样部署了下ollama和大模型，发现ollama list等命令能用，命令执行后ollama服务端也能返回消息。
但是在前述提到的机器上就不行，运行ollama list等命令时，直接报错，没有上图这种请求记录，但是在chatbox中就有请求记录发过来，ip是另一个ip，看着像windows端的，基本确定了在机器上运行命令行不通，试试api的方式，api请求命令时，ip和chatbox请求的ip时一样的，能请求通，赶紧api/create。问题解决。

接后续1

使用api方式创建模型
在这里插入图片描述
给的example中，很简单，像上下文窗口长度、temp等都没有，直接使用path参数即可，指向Modelfile的目录。

curl http://localhost:11434/api/create -d '{
    "name": "llama3-1-chinese",
    "path": "/pathofModelfile/Modelfile"
  }'

http://localhost:11434/可以换成你发起请求的ip:端口