[大模型]使用chatbox和open-webui同时调用ollama管理器cs模式和bs模式同时使用,调用ollama:11434端口连接被对方重设关联deepseek
- 说明
- 解决方案
说明
首先ollama是在容器中工作,可能会遇到问题。
 由于有同事想要chatbox调用ollama,所以有此文章。
 主要也是ollama在windows部署起来也是很简单的,如果内网中,多个机器部署还是有些浪费资源,故想要使用chatbox直接调用服务器上的ollama就好了。
 这里的ollama是通过容器的方式部署在了GPU服务器上,Linux服务器为open-webui提供服务。最近又更新了deepseek R1模型,所以理论上是可以通过chatbox调用容器中的ollama接口进行提供服务的。
 但是,事情好像没有想象的简单…
 按照正常的暴露ollama的端口将11434端口暴露给主机,一直是提示“连接被对方重设”。
 真是莫名奇妙,8080端口可以正常暴漏,就这个不行。但是进入容器,服务又是正常的…防火墙也关了…
invalid image(图片无法加载)
 连接被对方重设
解决方案
最后经过仔细查看,怀疑应该是环境变量OLLAMA_HOST的问题,默认是OLLAMA_HOST=127.0.0.1:11434
 这里可以修改11434,但是其实是127.0.0.1的问题。如果是本机运行,127.0.0.1没问题,但是如果是容器中,已经经过nat,那么127.0.0.1就无法映射出来。
故这里将OLLAMA_HOST=http://127.0.0.1:11434改为OLLAMA_HOST=http://0.0.0.0:11434即可。
 这个环境变量在启动容器的命令中修改。
docker run -d -p 
 
                   
                   
                   
                   最低0.47元/天 解锁文章
最低0.47元/天 解锁文章
                           
                       
       
           
                 
                 
                 
                 
                 
                
               
                 
                 
                 
                 
                
               
                 
                 扫一扫
扫一扫
                     
              
             
                   9970
					9970
					
 被折叠的  条评论
		 为什么被折叠?
被折叠的  条评论
		 为什么被折叠?
		 
		  到【灌水乐园】发言
到【灌水乐园】发言                                
		 
		 
    
   
    
   
             
            


 
            