[大模型]使用chatbox和open-webui同时调用ollama管理器cs模式和bs模式同时使用,调用ollama:11434端口连接被对方重设关联deepseek

[大模型]使用chatbox和open-webui同时调用ollama管理器cs模式和bs模式同时使用,调用ollama:11434端口连接被对方重设关联deepseek

  • 说明
  • 解决方案

说明

首先ollama是在容器中工作,可能会遇到问题。
由于有同事想要chatbox调用ollama,所以有此文章。
主要也是ollama在windows部署起来也是很简单的,如果内网中,多个机器部署还是有些浪费资源,故想要使用chatbox直接调用服务器上的ollama就好了。
这里的ollama是通过容器的方式部署在了GPU服务器上,Linux服务器为open-webui提供服务。最近又更新了deepseek R1模型,所以理论上是可以通过chatbox调用容器中的ollama接口进行提供服务的。
但是,事情好像没有想象的简单…
按照正常的暴露ollama的端口将11434端口暴露给主机,一直是提示“连接被对方重设”。
真是莫名奇妙,8080端口可以正常暴漏,就这个不行。但是进入容器,服务又是正常的…防火墙也关了…

invalid image(图片无法加载)
连接被对方重设

解决方案

最后经过仔细查看,怀疑应该是环境变量OLLAMA_HOST的问题,默认是OLLAMA_HOST=127.0.0.1:11434
这里可以修改11434,但是其实是127.0.0.1的问题。如果是本机运行,127.0.0.1没问题,但是如果是容器中,已经经过nat,那么127.0.0.1就无法映射出来。

故这里将OLLAMA_HOST=http://127.0.0.1:11434改为OLLAMA_HOST=http://0.0.0.0:11434即可。
这个环境变量在启动容器的命令中修改。

docker run -d -p 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值