【AI实践】Dify调用本地和在线模型服务

背景

Ollama可以本地部署模型，如何集成私有数据、如何外部应用程序对接，因此需要有一个应用开发框架

Dify功能介绍

欢迎使用 Dify | 中文 | Dify

下文将把dify部署在PC上，windows环境；

安装部署

安装dify及docker

jacob@Jacobs-NUC:/mnt/d/wsl$ git clone https://github.com/langgenius/dify
Cloning into 'dify'...
remote: Enumerating objects: 59108, done.
remote: Counting objects: 100% (8801/8801), done.
remote: Compressing objects: 100% (1569/1569), done.

docker已经安装完成的情况下

PS C:\Users\iamlv> cd D:\wsl\dify\docker\
PS D:\wsl\dify\docker> docker compose up -d

在docker页面里面，也可以看到running

网页中输入http://127.0.0.1，打开dify，注册登录后

添加本地Ollama模型

docker是虚拟环境的主机，Ollama部署在本地主机，无法通过本机访问

环境变量增加如下

重启Ollama

选择设置，

选择模型供应商

找到Ollama，配置本地Ollama已经验证的模型，如phi3

ip地址需要换成自己电脑的IP地址；模型名称需要和Ollama模型名称保持一致；

添加在线模型

从Moonshot AI - 开放平台，获取key值填入

在工作区选择调用即可。