dify-1.0.0版本-本地部署-ollama添加模型问题

GTX6670TI

已于 2025-03-20 19:15:10 修改

阅读量7k

点赞数 16

文章标签：语言模型人工智能

于 2025-03-07 09:03:22 首次发布

本文链接：https://blog.csdn.net/Lqy1998822/article/details/146085346

版权

dify中使用ollama添加模型点击“保存”后一直卡着不动，以及ubuntu下载ollama等模型供应商问题

dify的1.0.0版本需要单独下载模型供应商，以插件的形式进行下载和安装了，搞了两天都没搞好。

首先是1.0.0这个版本在ubuntu上下载模型供应商需要点击并下载安装，即使科学上网了，但是点击“安装”时走的仍然不是代理（ubuntu下安装不走代理），也就是说无法下载模型供应商（ollama、qwen这些）。为了解决这个问题，我从windows下下载完模型供应商，并且安装好后，把dify-main整个文件夹压缩，传到ubuntu的服务器上，然后开docker compose就可以了。本以为到这就结束了，但是添加模型时，点击“保存”后，什么反应也没有，等很久都没反应。。。。。。

这就是第二个问题，ollama无法添加模型。我参照网上说的把本机OLLAMA_HOST改为0.0.0.0也不行，URL使用http://host.docker.internal:11434、http://127.0.0.1:11434、http://<内网ip>:11434等等都不行，一直就是点击保存后卡着没反应。无论是ubuntu还是windows系统都一样，有时还会出现“internal server error”

解决方法就是：降低版本！！！

我仔细看了一下网上说的各种解决办法，他们的示例都是老版本，再看我这个1.0.0版本是6天前出的，具体是因为开发代码问题还是我自己没有操作好问题，反正我都折腾了两天了不想去纠结了。总之就是降低到0.15.3（亲测可用）！

windows上部署时，ollama添加模型，最好还是不要在系统环境变量里设置OLLAMA_HOST为0.0.0.0！，因为这样会导致其他py程序中调用ollama无法检测到服务，出现502或503的错误！实测！

windows中ollama填写添加模型如下：

在这里插入图片描述
注意：URL要写成http://host.docker.internal:11434（windows下，ollama使用本地环境安装，非docker容器内的ollama暴露11434端口，环境变量OLLAMA_HOST为0.0.0.0）
点击保存后，可以看到ollama serve的cmd框已经有反应(版本1.0.0一直都没有任何反应)：
在这里插入图片描述

等一下下看到右上角：
在这里插入图片描述

ubuntu系统填写添加ollama模型

在这里插入图片描述
注意：URL填写http://<内网ip>:11434，（ubuntu也是本机ollama环境，非docker内安装ollama）内网ip查看：ifconfig，然后也是等一下就可以了。

还有一个注意的点就是：
dify默认端口是80，一般windows下这个端口都是系统程序在占用，所以需要修改端口号，关闭docker compose（docker compose down（卸载容器-会删掉容器）或docker compose stop），然后去dify-main/dcoker下，找到.env文件，把EXPOSE_NGINX_PORT=80 换成你想改的端口号，在dify-main/dcoke下打开cmd重启docker compose up -d即可！