开启智能体和知识库探索之旅：Dify配置连接大模型

本文是Dify访问大语言模型（云端与本地）的零基础操作指南，是我找了一台Win11家庭版的电脑，从头到尾配置的全过程，希望能帮助无软件开发经验的用户快速实现大模型调用。

一、Dify 调用大模型的两种核心方式

大语言模型按部署方式分为云端API模型和本地私有化模型。Dify对两者均提供可视化配置支持，无需代码即可完成接入。

1. 云端模型（API调用）

特点：依赖第三方服务商算力，数据需传输至服务商服务器，适合快速验证和轻量级应用。

支持服务商：DeepSeek、智谱 AI、文心一言、通义千问等。

2. 本地模型（私有化部署）

特点：数据完全本地处理，需自行部署模型服务（如 Ollama），适合高隐私场景。

常用工具：Ollama、LocalAI，支持 Llama3、DeepSeek-R1 等开源模型。

3、两种模型对比

维度	云端模型	本地模型
成本	按Token计费（如 0.02 元/千 Token）	无持续费用，需承担硬件成本（GPU/内存）
部署难度	需安装OpenAI-API-compatible服务完成API配置	需安装Ollama并调试网络
数据安全	依赖服务商隐私协议	数据完全本地化，符合金融/医疗合规要求
适用场景	快速验证、低并发需求	高频调用、高隐私要求的长期应用

4、两种模型引擎服务对比

维度	OpenAI-API-compatible(如硅基流动、OpenAI云服务)	Ollama
部署方式	云端服务，依赖第三方服务器	本地部署，数据完全私有化
核心目标	提供标准化 API 接口，快速集成大模型能力	简化本地大模型的部署与管理，支持私有化定制
模型选择	固定服务商提供的模型(如 GPT-4o、DeepSeek云版本)	支持Llama3、DeepSeek-R1、Mistral等开源模型自由切换
数据流向	用户数据需传输至服务商云端服务器	数据仅在本地设备处理，不外传

二、云端模型接入步骤（以 DeepSeek 为例）

1. 注册并获取 API 密钥

   访问DeepSeek官网（https://platform.deepseek.com/） → 完成注册 → 进入控制台生成API Key。

2. 在Dify中配置模型（基于OpenAI-API-compatible服务）

（1）部署Dify请参考《开启智能体和知识库探索之旅：Dify私有化部署》，没有开发经验的朋友按照步骤也可轻松完成部署。

（2）安装OpenAI-API-compatible服务

• 登录Dify控制台 → 设置 → 模型供应商 → 搜索框中输入“OpenAI-API-compatible”，找到后单击“安装”

• 安装完后会出现在模型列表中，如下图所示：

（3）在OpenAI-API-compatible插件服务中添加模型

• 登录Dify控制台 → 设置 → 模型供应商 → 选择OpenAI-API-compatible → 单击添加模型按钮。

• 打开添加模型界面后填写参数

模型名称：自定义（如 DeepSeek-R1-7B）

API Key：复制粘贴上面创建的密钥

API Endpoint：https://openapi.coreshub.cn/v1。

• 点保存后显示出1个模型

三、本地模型接入方法（基于Ollama）

Ollama虽是一个本地部署的大模型管理平台，支持在本地运行各种开源模型，但是也兼容OpenAI的API接口。

1、部署Dify请参考《开启智能体和知识库探索之旅：Dify私有化部署》，没有开发经验的朋友按照步骤也可轻松完成部署。

2、Windows系统中安装Ollama

（1）打开Ollama官网（https://ollama.com/download）下载安装文件，我的电脑是windows11，我选择的是windows安装包，如下图所示，注意我的网络可能有点慢，我下载了2个小时，占用1G左右的硬盘空间。

（2）这里不推荐鼠标双击安装包安装，因为这种安装方式默认安装到C盘且不能自定义安装目录，安装完后大约占用5G硬盘空间如下图所示；这里个人推荐命令安装方式，我下面会详细介绍这种方式的安装步骤，没有开发经验的也不用担心，按照下面步骤操作轻松完成安装。

（3）按Win+R打开运行窗口，输入“cmd”后回车启动cmd，并定位到OllamaSetup.exe所下载的目录，如下图所示：

注意：“cd E:\download”跳转不过去，必须输入“cd /d E:\download”才能跳转到下载目录

（4）执行"OllamaSetup.exe /DIR=“D:\Video\Ollama"命令，DIR的值为"D:\Video\Ollama”，该值为Ollama的安装目录

（5）验证Ollama是否安装成功

• 重新打开一个CMD输入“ollama -v”回车，如果显示如下图所示内容，表示Ollama安装成功了。

• 打开浏览器地址栏输入“http://localhost:11434”后回车，如果显示如下图所示内容，表示Ollama安装成功了。

（6）成功安装后，Ollama默认是打开状态，此时我们先退出Ollama，如下图所示：

（7）成功安装完后，桌面上没有Ollama启动图标，在开始菜单中输入Ollama搜索查找，打开文件所在位置，选中并单击鼠标右键，显示更多选项/发送到/桌面快捷方式

3、配置Ollama环境变量

（1）打开配置环境变量界面

（2）新建环境变量“OLLAMA_MODELS”，将其设置为存放模型的地址（Ollama安装的根目录下新建一个Models文件夹），以节约C盘空间。

（3）新建环境变量“OLLAMA_HOST”，“0.0.0.0:11434”，让除本机以外的其他局域网机器也可以访问模型。

（4）新建环境变量需重启Ollama服务才能生效开始，桌面双击下图所示图标打开Ollama，服务启动时加载新建环境变量使其生效。

4、下载大模型

（1）打开Ollama官网（https://ollama.com/），单击Models连接

（2）搜索deepseek，我这里选择了7b

（3）复制下拉框后面的执行命令，ollama run deepseek-r1:7b

（4）在CMD中执行上面复制的命令下载ds大模型

上面我们修改了大模型的默认存储位置，下载需要打开CMD窗口，下载大家耐心等待一下，后面下载速度会越来越慢，我下载了五十分钟左右。

（5）如果出现下图所示的效果，表示下载完成

（6）验证DeepSeek，在DeepSeek下载完成后，在CMD中输入：Hello deepseek，如下图所示：

How can I assist you today？今天我能如何帮助您？今天有什么可以帮您？

5、在Dify中配置模型（基于Ollama服务）

（1）Dify中安装Ollama服务插件

• 登录Dify控制台 → 设置 → 模型供应商 → 搜索框中输入“Ollama”，找到后单击“安装”

• 安装完后会出现在模型列表中，如下图所示：

（2）在Ollama插件服务中添加模型

• 登录Dify控制台 → 设置 → 模型供应商 → 选择Ollama → 单击添加模型按钮。

• 打开添加模型界面后填写参数

  模型名称：自定义（如 DeepSeek-R1-Distill-Qwen-7B）

• 基础 URL：

  本地部署(http://localhost:11434)/(http://127.0.0.1:11434)

  Docker部署(http://host.docker.internal:11434)

  云端部署(http://203.0.113.10:11434)。

• 点保存后显示出1个模型

• 点保存后，下图是大部分人会遇到的问题，原因是因为：容器与主机网络隔离问题，即使在本地也无法访问，请根据以下操作步骤配置网络。

• Ollama模型命名规范，名称需严格遵循 : 格式（如 deepseek-r1:14b），Dify配置需完全匹配，如果确实不会写可以按Win+R打开运行窗口，输入“cmd”后回车启动cmd，执行“ollama list”查看Ollama已安装的模型的完整名称。

• 网络配置，Docker默认有自己的网络命名空间，127.0.0.1或localhost指的是容器内部，而不是宿主机，Ollama默认监听127.0.0.1，使用“http://host.docker.internal:11434”实现容器访问宿主机服务。
• 添加模型填写参数如下图所示：

• 如下图所示，表示ollama配置ds大模型成功

127.0.0.1或localhost指的是容器内部，而不是宿主机，Ollama默认监听127.0.0.1，使用“http://host.docker.internal:11434”实现容器访问宿主机服务。

• 添加模型填写参数如下图所示：

[外链图片转存中…(img-6StF8k1A-1747662343490)]

• 如下图所示，表示ollama配置ds大模型成功

[外链图片转存中…(img-Jt7SyKB8-1747662343491)]

总结：通过上述方法，即使无开发经验也能轻松在Dify中灵活调用各类大模型，Dify+Ollama部署比较简单，对硬件要求也不高，主要是Docker的安装（换国内镜像）和局域网设置可能会遇到问题。部署完个人推荐应用路径：先试云端（用DeepSeek或智谱AI的免费额度快速验证应用逻辑）再转本地（数据量增大或隐私需求提升时，通过 Ollama 部署开源模型）。

大模型岗位需求

大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

零基础入门AI大模型

今天贴心为大家准备好了一系列AI大模型资源，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

有需要的小伙伴，可以点击下方链接免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》*

内容包括：项目实战、面试招聘、源码解析、学习路线。

如果大家想领取完整的学习路线及大模型学习资料包，可以扫下方二维码获取

👉2.大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。(篇幅有限，仅展示部分）

大模型教程

👉3.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（篇幅有限，仅展示部分，公众号内领取）

电子书

👉4.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（篇幅有限，仅展示部分，公众号内领取）

大模型面试

**因篇幅有限，仅展示部分资料，**有需要的小伙伴，可以点击下方链接免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》

**或扫描下方二维码领取 **