AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型,实现聊天对话

AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型,实现聊天对话

目录

AGI 之 【Dify】 之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型,实现聊天对话

一、简单介绍

二、 Ollama 下载安装

三、Ollama 下载 LLM 模型,并运行

四、添加本地 Ollama 模型到 Dify

五、Dify 调用 Ollama 模型,创建聊天应用

附录:其他

一、更改 Ollama 模型下载默认路径地址


一、简单介绍

AGI,即通用人工智能(Artificial General Intelligence),是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务,而且能够理解、学习和应用知识于广泛的问题解决中,具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整,并能在没有人为干预的情况下解决各种复杂问题。

Dify 是一个开源的大语言模型(LLM)应用开发平台,它旨在简化和加速生成式 AI 应用的创建和部署。这个平台结合了后端即服务(Backend as Service, BaaS)和 LLMOps 的理念,为开发者提供了一个用户友好的界面和一系列强大的工具,使他们能够快速搭建生产级的 AI 应用。

Dify 的核心功能包括:

  1. 低代码/无代码开发:通过可视化的方式允许开发者轻松定义 Prompt、上下文和插件等,无需深入底层技术细节。
  2. 模块化设计:采用模块化的设计,每个模块都有清晰的功能和接口,可以根据需求选择性地使用。
  3. 丰富的功能组件:包括 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等,帮助开发者从原型到生产的全过程。
  4. 支持多种大语言模型:已支持 OpenAI GPT 系列等模型,并计划进一步扩展。
  5. 数据处理和特征工程工具:提供了数据清洗、特征选择、特征变换等功能,帮助开发者更好地准备数据。
  6. 集成外部知识源:允许自定义 API 接入外部知识源,让大型语言模型深入理解企业知识和业务。

Dify 提供了四种基于 LLM 构建的应用程序,可以针对不同的应用场景和需求进行优化和定制,包括聊天助手、文本生成、智能代理和工作流程。此外,Dify 还支持从 Notion 导入数据,并设置同步,使得数据在 Notion 更新后便自动同步到 Dify。Dify 中存在知识库数据集的单独 API,这与他的服务 API 不同,可以单独使用数据集的 API。

Ollama 是一个开源的本地大型语言模型(LLM)运行框架,它旨在简化在本地运行大型语言模型的过程。Ollama 提供了一个简洁易用的命令行界面和服务器,让你能够轻松下载、运行和管理各种开源大型语言模型,如 Llama 3、Mistral、Qwen2 等。

Ollama 的一些主要特点包括:

  1. 开源免费:Ollama 及其支持的模型完全开源免费,任何人都可以自由使用、修改和分
### 如何在 Windows本地部署 Dify #### 使用 Conda 创建虚拟环境并配置 Python 版本 为了确保开发环境的一致性和稳定性,在 Windows 上可以使用 `conda` 来管理依赖项。通过命令提示符 (CMD),执行如下指令来创建名为 `dify_env` 的新环境,并指定 Python 3.11 作为解释器版本[^1]: ```bash conda create --name dify_env python=3.11 ``` 激活此环境以便后续操作均在此环境中运行: ```bash conda activate dify_env ``` #### 准备 Docker 环境用于容器化部署 考虑到官方 GitHub 仓库支持基于 Docker 的安装方法,建议采用这种方式来进行本地部署。为此需提前完成 Docker Desktop 安装与启动过程[^2]。 从 GitHub 获取最新版源代码压缩包并将其放置于目标位置;假设已解压至某特定路径,则该处即成为工作目录。 #### 配置与初始化项目 进入上述提到的工作目录之后,继续按照官方文档指示设置必要的参数文件以及数据库连接字符串等信息。通常情况下会涉及到 `.env` 文件编辑或其他形式的配置选项调整。 最后一步是利用 Docker Compose 工具一键拉取所需镜像和服务定义,从而快速搭建起完整的应用栈。具体做法是在终内输入以下命令以启动服务集群: ```bash docker-compose up -d ``` 这将读取当前目录下的 `docker-compose.yml` 文件描述的服务列表,并以前台模式异步构建/更新关联资源直至整个系统准备就绪为止。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

仙魁XAN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值