【AI】DeepSeek+Dify构建知识库、Agent(智能体)、工作流、聊天助手

今天的这篇文章之所以说这么多,是为了交代背景,个人如何深度利用包括DeepSeek在内的AI工具,如何使用构建自己的聊天助手、智能体、工作流来提升工作效率。接下来我将会用系列文章教会你深度利用AI。

DeepSeek

DeepSeek大家已经非常了解了

Dify

Dify平台简单来说,就是一个让普通人无需编程就能快速搭建职能助手或自动化流程的AI工具平台,像拼积木一样简单。Dify平台能够整合知识库、AI模型和工具,自动处理复杂任务(如回答咨询、分析数据),并像人一样学习和优化效果。

1、Dify的部署

Dify支持Linux或MacOS,Windows用户可能需要使用WSL(Windows Subsystem for Linux)。如果大家没有编程能力或者linux环境的话,我也给大家提供了一个我自己在虚拟机上部署的镜像,里面已经用Docker安装了Dify和DeepSeek,大家可以下载下,将镜像导入到虚拟机中即可使用,链接我就放在文末了。如果需要技术支持,也可以后台回复“交友”,获取我的联系方式。

2、Dify的主要功能

》》探索页面

探索页面是展示Dify中内置的一些能力,有助手、写作、编程、人力资源等方面的智能体、工作流、聊天助手。当自己对于Dify无从下手时,可以使用这些能力先试试看。

Dify-探索

》》工作室

工作室中包括了聊天助手、Agent、工作流,可以在工作室中根据自己的需求创建相关应用。后面会对该功能做详细解释

Dify-工作室

》》知识库

知识库中可以上传个人或企业的文件,上传之后如果设置了嵌入向量模型,会将文本转换为向量数据,用于后续相似性检索。

Dify-知识库

》》工具

Dify的工具是指一些让AI调用外部功能的插件,比如搜索、发微信或者查询数据,就像给AI装上手和脚,能自动执行现实任务。也可以自定义工具给Dify调用,或者将已发布的工作流发布成工具进行使用。

Dify-工具

知识库

知识库是存储企业或个人资料的数据仓库,用于辅助AI精准回答专业问题。原理是将文档拆分、向量化存储,通过检索匹配用户问题,结合大模型生成可靠答案。

1、创建知识库

2、选择数据源

数据源可选导入已有文本、同步自Notion内容、同步自Web站点(暂未上线)

导入已有文本:即你需要作为外部知识让大模型去检索回答的内容,可能是个商业计划模板、也可能是个销售数据表。

同步自Notion内容:Notion是一款团队协作工具,类似于钉钉文档、语雀文档等,可以在其中以高度自定义的方式组织工作、管理项目和存储信息。也有提供API给其他应用调用。这里就是Dify对接了Notion,可以从Notion中导入信息到知识库中

3、文本分段与清洗

此步骤主要是对上传的文档进行分段以及向量转换

4、处理并完成

此步骤可以修改知识库名称

5、查看文档

在列表中可以查看刚刚上传的文档,如果文件比较大,状态可能还是“索引中”,正常是“可用”,右侧也可以进行分段设置、归档等操作。

6、召回测试

》》向量检索

上传文档之后我们可以在召回测试窗口问个问题,已测试下命中率吧。我根据文档内容问了“DeepSeek是什么?”,并以向量检索的方式进行检索,命中三个分段

如果我问一个不相关的问题,通过向量检索的方式也是可以找到的,但实际结果可能没那么理想

》》全文检索

当我切换为全文检索时,其搜索效果竟然更准确

》》混合检索

混合检索需要设置一个重排序模型,如果本地没有安装的话,可以选择使用jina的API。

选择添加之后会跳出一个弹窗,可以点击“从Jina获取API Key”

进入官网,无需注册登录,点击API

查看API密钥

复制填充即可

设置完成,等几秒钟加载即可,点击保存

查看结果

使用混合检索,查询出来的结果相对精确一些,经过重排序模型排序之后,结果会以相似度排序展示。

PS:一般来说向量检索的结果会更加精确,但我测试的结果却不是(这也证明我不是AI写的文章,纯真实纯手写)我觉得应该是我材料数量比较少导致的,大家可以多试试

这时候知识库已经设置好了,知识库可以在之后的应用中进行引用。

聊天助手

聊天助手是直接和用户对话的AI,通过大模型理解问题并生成回复。原理是实时调用AI模型分析上下文,用自然语言交互解决咨询、问答等需求。

输入应用名称,点击创建

》》编排

进入编排页面

既然我们是聊天机器人,先设置一个开场白,点击开启,我是设置成了“欢迎来到DeepSeek的世界”

设置知识库为上下文

记得点击右上角的更新、发布,否则修改将不会生效

我们来问下“DeepSeek是什么”,回答就是基于知识库来的

可以根据知识库中的测试来验证下

》》访问API

当我们配置完成之后,可以通过API嵌入到应用中

API使用需要密钥,右上角创建即可

》》日志与标注

日志记录了应用的运行情况

》》概览

概览就是看下API的使用情况

至此,聊天助手算是基本创建完成,需要更完整的能力,就需要你来自己尝试下了。

Agent(智能体或智能代理)

Agent是能自动处理复杂任务的AI助手,比如查数据或操作其他软件。原理是预设规则或学习用户目标,拆解任务后调用工具(搜索、API)自主完成

输入应用名称,点击创建

》》编排

输入提示词,即你希望这个智能体帮你完成什么任务

选择工具,智能体就是让AI使用工具完成任务的具体存在,所以会有很多工具可选

当然,如果你懂编程,也可以自定义工具

选择完工具,点击右上角的更新发布即可完成

我们来测试下吧,我创建的是个股票分析智能体,我问了下“大前天苹果的股价情况”

思考的过程中会发现已经在使用工具,时间工具和股票分析工具

哎,你猜怎么着,它没回答出来,不管它了,我的电脑也就这样了,只要大概的流程说清楚就行

》》访问API、日志与标注、概览

功能相似,不做过多介绍

工作流

工作流是把多个AI步骤串联起来的自动化流水线,比如先分类再生成内容。原理是用可视化流程编排不同工具和模型,按顺序执行任务,像工厂流水线一样协作。

选择工作流,输入应用名称,点击创建即可

》》编排

默认进来展示开始节点和下一节点选择

在开始节点设置下变量,也就是我们要进行对话,工作流需要接收到我们问的内容,需要有个参数来接收

这里我选择段落,因为文本的字数有限,段落字数默认最大33024,命名为message

第二个节点选择知识检索,引入我们创建的知识库

知识库检索的内容将会作为输出变量输出,同时也会作为输入变量被下一节点使用

第三个节点选择大语言模型LLM,需要切换模型至deepseek

LLM中接收上一节点的输出参数,并设置提示词

LLM的输出参数也将作为输入参数被下一节点使用

最后的节点选择结束节点

选择大模型输出的变量即可

点击右上角的更新、发布,再点击运行

输入“DeepSeek是什么”,将会根据知识库信息进行返回

我们通过知识库中的分段信息确认下其是否使用知识库回答

》》访问API

Dify提供了对应的工作流API,可以嵌入到应用中进行使用,方法与前面介绍的聊天助手相似

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### 使用 DeepSeekDify 构建本地知识库 #### 准备工作 为了构建一个基于 DeepSeek 的本地知识库,需先完成环境准备。这包括安装必要的依赖项以及配置运行所需的软件环境[^1]。 #### 部署 DeepSeek 模型 通过 Ollama 提供的方法来部署 DeepSeek 本地模型是一个可行的选择。具体操作可以参照相关文档《利用Ollama部署DeepSeek本地模型:从入门到实践》中的指导说明进行设置和调试。 #### 安装并初始化 Dify 应用程序 Dify 是用于管理和查询知识库的应用框架。按照官方指南下载最新版本的 Dify 并执行初始化命令以启动服务[^2]。 ```bash pip install dify-cli dify init ``` #### 导入数据源至知识库 支持多种格式的数据导入方式,比如文本文件、网页链接或是数据库记录等。使用 `dify import` 命令配合相应的参数选项即可轻松实现资料加载入库。 ```bash dify import ./data.txt --type text/plain ``` #### 训练自定义索引结构 为了让搜索引擎更好地理解存储的内容,在初次填充完毕之后建议立即开启一次完整的索引重建过程。这样能够显著提高后续检索效率与准确性。 ```bash dify index rebuild ``` #### 测试查询功能 最后一步就是验证整个系统的可用性了。尝试输入几个关键词看看能否得到预期的结果列表;如果一切正常,则表示已经成功建立了属于自己的个性化知识管理系统。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值