开启智能体和知识库探索之旅：Dify配置连接大模型

本文是Dify访问大语言模型（云端与本地）的零基础操作指南，是我找了一台Win11家庭版的电脑，从头到尾配置的全过程，希望能帮助无软件开发经验的用户快速实现大模型调用。

一、Dify 调用大模型的两种核心方式

     大语言模型按部署方式分为云端API模型和本地私有化模型。Dify对两者均提供可视化配置支持，无需代码即可完成接入。

1. 云端模型（API调用）

特点：依赖第三方服务商算力，数据需传输至服务商服务器，适合快速验证和轻量级应用。

支持服务商：DeepSeek、智谱 AI、文心一言、通义千问等。

2. 本地模型（私有化部署）

特点：数据完全本地处理，需自行部署模型服务（如 Ollama），适合高隐私场景。

常用工具：Ollama、LocalAI，支持 Llama3、DeepSeek-R1 等开源模型。

3、两种模型对比

维度	云端模型	本地模型
成本	按Token计费（如 0.02 元/千 Token）	无持续费用，需承担硬件成本（GPU/内存）
部署难度	需安装OpenAI-API-compatible服务完成API配置	需安装Ollama并调试网络
数据安全	依赖服务商隐私协议	数据完全本地化，符合金融/医疗合规要求
适用场景	快速验证、低并发需求	高频调用、高隐私要求的长期应用

4、两种模型引擎服务对比

维度	OpenAI-API-compatible(如硅基流动、OpenAI云服务)	Ollama
部署方式	云端服务，依赖第三方服务器	本地部署，数据完全私有化
核心目标	提供标准化 API 接口，快速集成大模型能力	简化本地大模型的部署与管理，支持私有化定制
模型选择	固定服务商提供的模型(如 GPT-4o、DeepSeek云版本)	支持Llama3、DeepSeek-R1、Mistral等开源模型自由切换
数据流向	用户数据需传输至服务商云端服务器	数据仅在本地设备处理，不外传

二、云端模型接入步骤（以 DeepSeek 为例）

1. 注册并获取 API 密钥

      访问DeepSeek官网（https://platform.deepseek.com/） → 完成注册 → 进入控制台生成API Key。

2. 在Dify中配置模型（基于OpenAI-API-compatible服务）

（1）部署Dify请参考《开启智能体和知识库探索之旅：Dify私有化部署》，没有开发经验的朋友按照步骤也可轻松完成部署。

（2）安装OpenAI-API-compatible服务

• 登录Dify控制台 → 设置 → 模型供应商 → 搜索框中输入“OpenAI-API-compatible”，找到后单击“安装”

• 安装完后会出现在模型列表中，如下图所示：

（3）在OpenAI-API-compatible插件服务中添加模型

• 登录Dify控制台 → 设置 → 模型供应商 → 选择OpenAI-API-compatible → 单击添加模型按钮。

• 打开添加模型界面后填写参数

模型名称：自定义（如 DeepSeek-R1-7B）

API Key：复制粘贴上面创建的密钥

API Endpoint：https://openapi.coreshub.cn/v1。

• 点保存后显示出1个模型

三、本地模型接入方法（基于Ollama）

      Ollama虽是一个本地部署的大模型管理平台，支持在本地运行各种开源模型，但是也兼容OpenAI的API接口。

1、部署Dify请参考《开启智能体和知识库探索之旅：Dify私有化部署》，没有开发经验的朋友按照步骤也可轻松完成部署。

2、Windows系统中安装Ollama

（1）打开Ollama官网（https://ollama.com/download）下载安装文件，我的电脑是windows11，我选择的是windows安装包，如下图所示，注意我的网络可能有点慢，我下载了2个小时，占用1G左右的硬盘空间。

（2）这里不推荐鼠标双击安装包安装，因为这种安装方式默认安装到C盘且不能自定义安装目录，安装完后大约占用5G硬盘空间如下图所示；这里个人推荐命令安装方式，我下面会详细介绍这种方式的安装步骤，没有开发经验的也不用担心，按照下面步骤操作轻松完成安装。

（3）按Win+R打开运行窗口，输入“cmd”后回车启动cmd，并定位到OllamaSetup.exe所下载的目录，如下图所示：

注意：“cd E:\download”跳转不过去，必须输入“cd /d E:\download”才能跳转到下载目录

（4）执行"OllamaSetup.exe /DIR="D:\Video\Ollama"命令，DIR的值为"D:\Video\Ollama"，该值为Ollama的安装目录

（5）验证Ollama是否安装成功

• 重新打开一个CMD输入“ollama -v”回车，如果显示如下图所示内容，表示Ollama安装成功了。

• 打开浏览器地址栏输入“http://localhost:11434”后回车，如果显示如下图所示内容，表示Ollama安装成功了。

（6）成功安装后，Ollama默认是打开状态，此时我们先退出Ollama，如下图所示：

（7）成功安装完后，桌面上没有Ollama启动图标，在开始菜单中输入Ollama搜索查找，打开文件所在位置，选中并单击鼠标右键，显示更多选项/发送到/桌面快捷方式

3、配置Ollama环境变量

（1）打开配置环境变量界面

（2）新建环境变量“OLLAMA_MODELS”，将其设置为存放模型的地址（Ollama安装的根目录下新建一个Models文件夹），以节约C盘空间。

（3）新建环境变量“OLLAMA_HOST”，“0.0.0.0:11434”，让除本机以外的其他局域网机器也可以访问模型。

（4）新建环境变量需重启Ollama服务才能生效开始，桌面双击下图所示图标打开Ollama，服务启动时加载新建环境变量使其生效。

4、下载大模型

（1）打开Ollama官网（https://ollama.com/），单击Models连接

（2）搜索deepseek，我这里选择了7b

（3）复制下拉框后面的执行命令，ollama run deepseek-r1:7b

（4）在CMD中执行上面复制的命令下载ds大模型

      上面我们修改了大模型的默认存储位置，下载需要打开CMD窗口，下载大家耐心等待一下，后面下载速度会越来越慢，我下载了五十分钟左右。

（5）如果出现下图所示的效果，表示下载完成

（6）验证DeepSeek，在DeepSeek下载完成后，在CMD中输入：Hello deepseek，如下图所示：

How can I assist you today？今天我能如何帮助您？今天有什么可以帮您？

5、在Dify中配置模型（基于Ollama服务）

（1）Dify中安装Ollama服务插件

• 登录Dify控制台 → 设置 → 模型供应商 → 搜索框中输入“Ollama”，找到后单击“安装”

• 安装完后会出现在模型列表中，如下图所示：

（2）在Ollama插件服务中添加模型

• 登录Dify控制台 → 设置 → 模型供应商 → 选择Ollama → 单击添加模型按钮。

• 打开添加模型界面后填写参数

  模型名称：自定义（如 DeepSeek-R1-Distill-Qwen-7B）

• 基础 URL：

  本地部署(http://localhost:11434)/(http://127.0.0.1:11434)

  Docker部署(http://host.docker.internal:11434)

  云端部署(http://203.0.113.10:11434)。

• 点保存后显示出1个模型

• 点保存后，下图是大部分人会遇到的问题，原因是因为：容器与主机网络隔离问题，即使在本地也无法访问，请根据以下操作步骤配置网络。

• Ollama模型命名规范，名称需严格遵循 <model-name>:<tag> 格式（如 deepseek-r1:14b），Dify配置需完全匹配，如果确实不会写可以按Win+R打开运行窗口，输入“cmd”后回车启动cmd，执行“ollama list”查看Ollama已安装的模型的完整名称。

• 网络配置，Docker默认有自己的网络命名空间，127.0.0.1或localhost指的是容器内部，而不是宿主机，Ollama默认监听127.0.0.1，使用“http://host.docker.internal:11434”实现容器访问宿主机服务。

• 添加模型填写参数如下图所示：

• 如下图所示，表示ollama配置ds大模型成功

      总结：通过上述方法，即使无开发经验也能轻松在Dify中灵活调用各类大模型，Dify+Ollama部署比较简单，对硬件要求也不高，主要是Docker的安装（换国内镜像）和局域网设置可能会遇到问题。部署完个人推荐应用路径：先试云端（用DeepSeek或智谱AI的免费额度快速验证应用逻辑）再转本地（数据量增大或隐私需求提升时，通过 Ollama 部署开源模型）。

   如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

五、AI产品经理大模型教程

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​