手把手教会你玩转本地大模型：Ollama安装+deepseek部署+Dify接入+独立调用全攻略

于 2025-05-13 11:25:41 发布
阅读量670 收藏 19
点赞数 14
文章标签： 大模型学习 大模型入门 大模型 大模型部署 Ollama DeepSeek Dify
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gaga246/article/details/147919679
版权

前言

本期为大家介绍如何通过Ollama部署本地大模型，Dify如何接入Ollama部署的本地大模型，以及脱离Dify如何方便使用大模型。

本期具体内容包括

  1. Ollama下载安装
  2. 大模型部署（以deepseek为例）
  3. Dify接入本地大模型
  4. 通过chatbox使用本地大模型（额外内容）

如果只想本地部署大模型可以只看1、2,如果想要通过Dify接入本地大模型可以看1、2、3，如果想脱离Dify直接方便的使用本地大模型可以看1、2、4。

1、Ollama下载安装

大模型的本地部署方式有很多，可以直接部署，也可以借助其他工具进行部署，为了方便使用和管理，通常是借助其他工具进行部署，例如Ollama或者LM Studio，相比于LM Studio，Ollama下载模型方便且兼容性好，但是安装会稍微麻烦一点而且没有界面，不过这些都好解决。

首先进入Ollama的官网https://ollama.com/，然后点击Download即可，这一步可能需要挂vpn，否则会访问不了

图片

下载好后，打开安装包即可安装，对于Windows用户来说一路点击下一步就好了，Ollama默认是安装到C盘，如果想迁移到其他路径可以期待下一期文章。

图片

安装完成之后可以进行一下验证，打开cmd，输入ollama，如果像下面这样显示即表示安装成功了。

图片

安装成功后可以在系统变量设置一下模型的下载路径，在桌面找到“此电脑”，右键“属性”，然后点击“高级系统设置”，找到“环境变量”，在系统变量下点击“新建”，在变量名输入“OLLAMA_MODELS”，在变量值输入自己想放置模型的路径。

重启一下Ollama，注意一定要重启，否则环境配置不生效，下载的模型还是默认在C盘。

图片

2、大模型部署（以deepseek为例）

安装完Ollama后，即可依托Ollama进行大模型的部署，此处有两种办法，一种是在线安装，直接在Ollama的模型库里找，然后通过命令安装，Ollama会自动下载并部署模型；另一种是离线安装，离线安装是指从其他资源网站下载好模型（.gguf文件），例如从hugging face上下载模型，然后通过modlefile文件进行安装。此处以在线安装作为示例。

首先进入Ollama官网，点击Models，进入模型资源库。

图片

随便选择一个模型，此处以deepseek-r1:1.5b为例，注意名称一定要和官网名称一致。

图片

打开cmd，输入ollama run deepseek-r1:1.5b，即开始自动拉取模型，等待完成即可。

图片

图片

完成后即可开始对话，此时由于ollama没有界面，所以只能通过cmd进行对话。

后续可以通过打开cmd，输入ollama run 模型名称 使用，如果不清楚已经安装的模型具体名称，可以输入 ollama list 查看。

图片

第3步将介绍怎么在Dify中接入和使用本地大模型，第4步将介绍通过chatbox在可视化的界面中使用大模型。

3、Dify接入本地大模型

完成大模型的本地部署后，暂时还不能在Dify中使用，还需要进行一些配置。

注：Dify的安装可以查看上一期文章

首先，打开浏览器，输入http://localhost/apps进入Dify，点击页面右上角头像的设置，在模型供应商中找到Ollama并点击安装。

图片

图片

等待安装完成后进行模型配置，此处配置包括两部分，一个是LLM模型配置，所谓LLM即是大语言模型，此处可以是deepseek的模型也可以是chatgpt的模型或者是其他模型，其主要作用就是对话；另一个是Text Embedding模型，也叫文本嵌入模型，它是应用于知识库的模型，其主要功能是把知识库中的文本转换成向量，因为计算机无法直接理解自然语言，但是当把自然语言转换成向量之后，就可以通过数学的方式去进行理解和计算，例如你输入一个问题，从知识库中获得结果，本质就是把问题转换成向量并在知识库中检索和问题相似度最高的向量。此处可以用deepseek-r1模型进行配置，也可以使用其他专门的模型进行配置。

在模型名称中填写上一步下载的模型，如果不知道模型名称可以打开cmd，输入ollama list查看已经安装的模型。基础URL代表的是Ollama 服务地址，Ollama是默认暴露11434端口进行API调用，如果Dify是通过Docker部署的话，在基础URL中填入http://host.docker.internal:11434即可，如果是其他方式部署的Dify，可以参考帮助文档：https://docs.dify.ai/zh-hans/development/models-integration/ollama。剩余参数保持默认即可。最后点击保存

图片

如果保存按钮变成灰色并且迟迟没有保存成功，可以参考一下步骤重新启动Dify的Docker服务以及重新启动大模型。

进入到Dify的工程文件，找到docker文件夹里的.env文件，用记事本打开，并在最后添加以下内容：

#启用自定义模型

CUSTOM_MODEL_ENABLED=true

#指定ollama的API地址

OLLAMA_API_BASE_URL=host.docker.internal:11434

图片

按照下图步骤重启docker服务，并且运行模型

图片

完成配置后可以看到两个模型都处于开启状态，此时即可在Dify中使用本地大模型。

图片

回到Dify的工作空间，在“工作室”中创建空白应用，此处以工作流为例，点击工作流，输入名称和描述创建。

图片

在工作流中添加LLM节点，点击节点可以在右侧进行配置，点击模型可以切换为刚才安装的deepseek-r1:1.5b模型

图片

4、通过chatbox使用本地大模型

仅通过Ollama部署的本地大模型如果不借助其他工具只能在cmd中进行对话使用，如果想在可视化的界面中使用本地大模型，可以考虑使用chatbox这类的AI客户端，chatbox的优点在于轻量化和高性能。

首先进入官网https://chatboxai.app/zh?ref=tian 下载chatbox，下载完成后一路点击下一步即可安装。

图片

安装完成后打开软件，会弹出提示框，选择使用自己的API Key或本地模型，或者可以点击设置进入配置界面。

图片

在模型栏填入API域名和模型名称，点击保存。

注意：配置前需要先启动Ollama并运行模型。

图片

新建一个对话，此时可以看到配置的模型已经成功应用了。

图片

后话

先运行模型： 无论是在Dify还是在chatbox中使用本地大模型，都需要先运行模型，运行方法是 ollama run 模型名称。

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

零代码+大模型=你的专属AI员工！手把手教你用Dify+DeepSeek创造未来
static_coder的博客
03-27 1056
Dify是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和LLMOps的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。Dify就是拖拉拽就能用的AI工厂，可以像搭积木一样连接AI模型、数据、API，支持支持语音/文本/图像多模态应用，完全可视化操作，小白也能上手。
超实用！用 Ollama + DeepSeek + Dify 搭建本地知识库，提升企业效率
Happiness is everywhere
02-13 3312
本文介绍了如何使用 Ollama + DeepSeek + Dify 搭建本地知识库，帮助企业高效管理信息。通过简单配置，可实现智能问答、文档检索等功能，提升效率并保障数据安全。
Ollama+AnythingLLM本地部署大模型DeepSeek，打造自己本地AI知识库
山塘小鱼儿的博客
02-08 1082
【喂饭教程】20分钟教会你本地部署DeepSeek-R1，并搭建自己的知识库（附Windows安装包+使用技巧），【AI】CherryStudio结合 Ollama 本地模型实现个人知识库，五分钟教你一键在WPS接入Deepseek，轻松配置API，实现智能对话、文档翻译等功能，全B站最用心的DeepSeek教程（没有之一），三分钟本地部署Qwen大模型，保姆级教程！超简单的部署教程，附安装包和微调文档！大模型如火如荼，DeepSeek异军突起，打造自己的AI知识库，学习大模型相关软件的使用和配合。
大模型入门：私有化部署问答助手术语、工具和解决方案
kaka0722ww的博客
04-07 827
目前的大语言模型，几乎都是以聊天的方式来和用户进行交互的，这也是为什么OpenAI开发的大模型产品叫ChatGPT，核心就是Chat。而我们基于大语言模型LLM落地应用，核心就是利用大模型的语义理解能力和推理能力，帮我们解决一些难以用“标准流程”LLM真正的长处是它的理解、推理和对于问题的泛化能力，如果能把它运用到具体业务中，让它学习业务知识，则能发挥巨大的价值。目前绝大多数对大模型的应用，都是在尝试“教会”大模型特定领域知识，再基于大模型的泛化推理能力，去解决一些实际问题。
手把手教你！如何在你的电脑上本地部署DeepSeek！
DEVELOPERAA的博客
02-25 2212
DeepSeek想必大家多多少少都用过，或者也听说过，它可以在手机或者电脑上通过APP或者网页进行访问，但是有用过DeepSeek的小伙伴应该都会知道，如果你问的问题比较复杂，或者问的比较频繁，经常会出现系统繁忙的提示，而本地部署就可以一定程度缓解这个问题。
DeepSeek+Dify构建知识库、聊天助手、Agent(智能体)、工作流
CSDN_430422的博客
05-08 1024
昨天看到一个网友说"不会使用DeepSeek，那么这东西到普通人手里，就是百度Plus版"，这么说也不无道理。为什么DeepSeek会掀起这么大的浪潮，是因为过去我们想实现的很多事情都要基于机器对自然语言的理解，比如机器人发展了很久，现在有了机器狗、人形机器人，但还是需要遥控去控制，而不具备自主思维。再比如刚出来的Gpt、文心一言，更像是拼凑起来的文字，具有浓重的程序化风格。
教你一套从0到1搭建商用AI Agent（智能体）的系统方法论
m0_53539063的博客
04-16 1031
需求与场景定义大家好，我是偶然，AI洞察，AI智能体，AI工作流分享学习智能体的这段时间，我发现一个比较有意思的现象，就是大多数市面上的智能体只有价值，没有商业价值。有的智能体功能看起来很炫酷，但就是解决不了一点实际问题，有的智能体却能帮助企业实现 300% 提效。这是因为大多数人在制作一个普通智能体或运用在商业的智能体上，他们都没有一套系统的方法论。可以说很多人在制作智能体的时候，都在自嗨，甚至连受众用户群体都没了解过。
幕僚云私有化部署Dify+Ollama+DeepSeek-r1
02-14
私有化部署Dify+Ollama+DeepSeek-r1的详细步骤可能包括系统需求分析、软硬件环境搭建、系统安装配置、功能集成测试以及后续的维护升级等环节。系统需求分析阶段，需要对企业当前的数据处理需求进行深入理解，明确...
【deepseek部署个人知识库】ollama+deepseek+docker+Dify-部署教程
03-04
知识库创建完成后，用户可以在Dify网页中创建聊天界面，并接入deepseek模型。 在完成以上步骤后，用户就可以开始使用个人知识库进行查询和问答了。这整个过程涉及到的技术比较多，包括搜索引擎框架、深度学习、应用...
docker部署dify与ollama+deepseek大模型结合
weixin_50902225的博客
02-14 1490
de运行环境：docker +dify+ollama+deepseek。
【Windows环境】Ollama+DeepSeek+Dify个人知识库本地构建保姆级教程：从安装到知识库搭建详细步骤
04-11
：本文档详细使用场景及目标介绍了在Windows环境下：①帮助部署Ollama用户在本地环境中、DeepSeek、快速部署和运行Dify以及个人大语言模型（知识库的步骤如DeepSeek），。Ollama满足个人开发者或作为轻量化的大语言...
富文本编辑器开发：Vue3+TipTap核心功能实现.pdf
05-14
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 Vue 3是一款备受瞩目的JavaScript框架，它采用了基于Proxy的响应式系统，显著提升了性能和调试能力。其Composition API带来了更高效的逻辑组织方式，使代码复用变得轻而易举。Tree-shaking支持让打包后的文件体积更小，进一步优化了应用性能。Vue 3还与TypeScript深度集成，提供了更完善的类型推导，让开发过程更加顺畅。无论是构建大型应用还是小型项目，Vue 3都能凭借其出色的性能和灵活的架构，帮助开发者高效完成任务，是现代Web开发的理想选择。
分类：多类别分类.pdf
05-14
分类、阈值、混淆矩阵、准确率、召回率、精确率等教程和代码
基于OAuth2+SpringSecurity+Jwt实现身份认证和权限管理后端服务代码合集
05-14
基于OAuth2+SpringSecurity+Jwt实现身份认证和权限管理后端服务代码合集
用visio制作基本流程图.pptx
05-14
Visio学习相关文档
手绘风格小动物素材教学课件模板.pptx
最新发布
05-14
手绘风格小动物素材教学课件模板
【计算机视觉】OpenCV高频面试题解析：涵盖图像处理、特征提取与目标检测技术要点
05-14
内容概要：本文档《opencv高频面试题.docx》涵盖了OpenCV的基础概念、图像处理操作、特征提取与匹配、目标检测与机器学习、实际编程题、性能优化以及进阶问题。首先介绍了OpenCV作为开源计算机视觉库，支持图像/视频处理、目标检测、机器学习等领域，应用于安防、自动驾驶、医学影像、AR/VR等方面。接着详细讲述了图像的存储格式（如Mat类）、通道的概念及其转换方法。在图像处理部分，讲解了图像灰度化、二值化、边缘检测等技术。特征提取方面，对比了Harris和Shi-Tomasi角点检测算法，以及SIFT、SURF、ORB的特征提取原理和优缺点。目标检测部分介绍了Haar级联检测原理，并阐述了如何调用深度学习模型进行目标检测。文档还提供了几个实际编程题示例，如读取并显示图像、图像旋转、绘制矩形框并保存等。最后，探讨了性能优化的方法，如使用cv2.UMat（GPU加速）、减少循环等，以及相机标定、光流等进阶问题。 适合人群：对计算机视觉有一定兴趣，具备一定编程基础的学习者或从业者。 使用场景及目标：①帮助学习者掌握OpenCV的基本概念和技术；②为面试准备提供参考；③为实际项目开发提供技术指导。 阅读建议：由于内容涵盖广泛，建议读者根据自身需求有选择地深入学习相关章节，并结合实际编程练习加深理解。
PowerPDF for Delphi FS.7z
05-14
PowerPDF for Delphi 完整源码版 PowerPdf is a VCL component to create PDF docment visually. Like Forms, you can design PDF document easily on Delphi IDE.
机器翻译应用：Vue3+Transformer模型整合.pdf
05-14
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 Vue 3是一款备受瞩目的JavaScript框架，它采用了基于Proxy的响应式系统，显著提升了性能和调试能力。其Composition API带来了更高效的逻辑组织方式，使代码复用变得轻而易举。Tree-shaking支持让打包后的文件体积更小，进一步优化了应用性能。Vue 3还与TypeScript深度集成，提供了更完善的类型推导，让开发过程更加顺畅。无论是构建大型应用还是小型项目，Vue 3都能凭借其出色的性能和灵活的架构，帮助开发者高效完成任务，是现代Web开发的理想选择。
本地部署DEEPSEEK Ollama + DeepSeek + Dify
04-03
### 本地部署 DEEPSEEK 使用 Ollama 和 DeepSeek 并整合 Dify #### 配置与集成概述 为了实现 DEEPSEEK 模型的本地化部署并将其与 Ollama 和 Dify 整合，需要完成以下几个核心部分的工作：安装和配置 Ollama、下载和运行 DEEPSEEK 模型以及将这些组件与 Dify 进行无缝连接。 Ollama 是一种轻量级工具，用于管理和运行大型语言模型 (LLM)，支持多种模型架构。通过简单的命令即可启动指定版本的 DEEPSEEK 模型[^2]。而 Dify 则是一个应用框架，可以作为前端或中间件来调用 LLM 提供的服务。 --- #### 安装和配置 Ollama 要开始使用 Ollama 来管理 DEEPSEEK 模型，请按照以下方法操作： 1. **安装 Ollama** 下载最新版 Ollama 工具包，并根据操作系统执行相应的安装脚本。官方文档提供了详细的说明，确保环境满足最低依赖条件。 2. **拉取 DEEPSEEK 模型** 执行以下命令以获取特定版本的 DEEPSEEK 模型： ```bash ollama pull deepseek-r1:1.5b ``` 此命令会自动从远程仓库中提取 `deepseek-r1` 版本号为 `1.5b` 的预训练权重文件到本地存储路径下。 3. **验证模型加载状态** 启动服务前可以通过列表查看已成功导入的所有可用模型实例及其元数据信息： ```bash ollama list ``` --- #### 启动 DEEPSEEK 模型 一旦完成了上述准备工作，则可通过如下指令激活目标模型实例以便后续请求访问它所提供的功能接口： ```bash ollama run deepseek-r1:1.5b --port=11434 ``` 此命令将在默认端口上暴露 RESTful API 接口给外部程序调用，默认监听地址通常设置为 localhost 或者自定义 IP 地址。 --- #### 将 Ollama 与 Dify 集成 Dify 可作为一个灵活的应用开发平台，允许开发者轻松接入第三方 AI 能力。以下是具体步骤描述： 1. **创建项目结构** 初始化一个新的 Python 环境或者 Node.js 应用来承载整个业务逻辑流程设计工作流。 2. **编写适配器代码** 构建 HTTP 请求发送模块向刚才提到过的 Ollama 实例发起交互动作；例如利用 requests 库（Python）或其他同等效用库处理 POST 方法提交 JSON 数据体至 `/api/generate` 终结点位置处[^1]: ```python import requests url = "http://localhost:11434/api/generate" payload = { "prompt": "Tell me about the history of artificial intelligence.", "max_tokens": 100, "temperature": 0.7 } headers = {"Content-Type": "application/json"} response = requests.post(url, json=payload, headers=headers) result = response.json() print(result["response"]) ``` 3. **扩展应用程序界面** 结合实际场景需求进一步完善图形用户界面上展示效果等内容呈现形式等方面考虑因素进去之后再做最终调整优化方案出来就可以了. --- ### 总结 综上所述，在本地环境中部署 DEEPSEEK 模型并通过 Ollama 加载后，能够借助简单几行脚本快速搭建起一套完整的对话系统原型演示案例。与此同时，引入像 Dify 这样的高级别封装层还可以极大简化日常维护成本的同时提升整体用户体验满意度水平^. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值