open-interpreter调用Ollama本地各种模型的方法(如llama3:8b)

open-interpreter可以使用各种大模型来当基座,也可以使用本地的大模型。

但当我使用Ollama安装好llama3:8b时,用"http://192.168.0.113:8000/api"直接调用api时,却不停的报错:

用这个命令行启动时:

interpreter --api_base "http://192.168.0.113:8000/api" --api_key "fake_key"

是报这个错误:

    raise NotFoundError(
litellm.exceptions.NotFoundError: OpenAIException - 404 page not found
加上指定模型后:

interpreter --api_base "http://192.168.0.113:8000/api" --api_key "fake_key" --model ollama/llama3:8b -y

是报这个错误:

httpx.ResponseNotRead: Attempted to access streaming response content, without having called `read()`.

最后终于发现启动命令应该是这个,才是正确的:

interpreter --api_base "http://192.168.0.113:8000/api/generate" --api_key "fake_key" --model ollama/llama3:8b -y

正确的调用方法是http://192.168.0.113:8000/api/generate

如果调用的是微软最新的phi3,则直接使用:

interpreter --api_base "http://192.168.0.113:8000/api/generate" --api_key "fake_key" --model ollama/phi3 -y

至此,完美解决open-interpreter调用Ollama各种模型出错的问题。

  • 16
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
根据你提供的引用内容,错误信息"ERROR: Could not find a version that satisfies the requirement open-interpreter (from versions: none)"通常是由于找不到满足所需版本的open-interpreter模块导致的。这可能是由于以下原因之一引起的: 1. 安装源错误:你可能正在使用错误的安装源或已更换的安装源,导致无法找到所需的模块版本。你可以尝试更换正确的安装源,或者检查你的安装源是否正常。 2. 模块不存在:open-interpreter模块可能不存在于任何可用的版本中。你可以检查是否拼写错误或尝试使用其他模块替代。 为了解决这个问题,你可以尝试以下方法: 1. 检查安装源:确保你正在使用正确的安装源。你可以查看你的配置文件或者手动指定正确的安装源进行安装。 2. 更新包管理工具:确保你的包管理工具是最新的版本。你可以尝试更新pip或conda,并再次尝试安装open-interpreter模块。 3. 检查模块名称:确认你正在安装的模块名称是否正确。如果可能,尝试使用其他类似的模块。 4. 搜索解决方案: 尝试在相关的开发者社区或论坛上搜索类似的问题,并查看其他用户是如何解决的。这可能会提供有关如何解决此问题的更多指导。 请注意,由于我无法直接访问你的系统或环境,因此这些建议仅供参考。根据你的具体情况,可能需要采取其他措施来解决问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值