fastgpt的知识库,是我认为目前最简单好用的知识库了,我一直用了很久。不过评论区多次提到另外一位热门选手:ragflow
ragflow其实我去年也用过,但是并没有深入一直去使用,因为当时我用着老是有各种各样的问题,比如上传的文件老是解析失败,用着用着突然访问不了了,问答拆分等解析模式非常慢等等。最关键的是当时因为搞各种本地大模型,本地部署,资源不够用了,,,而ragflow又非常吃资源
内存需求是fastgpt和dify的4倍;CPU是fastgpt和dify的2倍;而我的本地电脑内存就只有16G,属于是刚好能用。这两天为了在开各种软件的同时还能流畅运行ragflow,我斥巨资给电脑加装了两条16G内存条(共32G)
加装之后果然流畅多了~
这期给大家分享一下这几天ragflow的使用感受,和适用场景。
内容主要有:
1.简单介绍本地部署流程;
2.知识库搭建,参数配置讲解;
3.ragflow的团队管理、权限控制;
一、ragflow本地部署
ragflow在github上面也是一个明星项目了,有高达42.8k的Star,得到大家的高度认可。
Github地址:https://github.com/infiniflow/ragflow.git
在这里直接下载源码包
无法访问GitHub的朋友,可以公众号后台私信:“ragflow” 获取最新源码包。
源码包解压之后,到如下路径 ragflow/docker
路径上输入cmd,回车,进入控制台,输入如下指令一键启动。
docker compose -f docker-compose.yml up -d
ragflow的镜像比较大,最大的有10G。最好开着魔法,会比较快,实在没有魔法的朋友可以参考这篇,配置国内镜像加速地址。
部署完毕之后,查看容器状态,如果都是running状态,就代表启动成功。
访问本机 http://127.0.0.1,即可进入ragflow的操作界面。
二、ragflow知识库搭建
点击右上角头像->模型提供商
为了方便,咱还是配置使用硅基流动(因为里面有免费模型,模型全面,包含了知识库所需的索引模型、聊天模型、重排模型等等),还有DeepSeek V3 和 DeepSeek R1满血版,性价比高,最适合用来调式了。
当然如果想要使用中转站,也可以选择OpenAI-API-Compatible进行配置
PS:推荐一个中转站 https://kg-api.cloud/
右上角系统模型设置这里,就可以配置聊天、嵌入、重排模型
在知识库->创建知识库,进入如下页面,进行知识库参数配置
PS:知识库有两套参数,一套是文件解析,进入知识库所需的参数配置,另一套是用户提问,进行知识库检索的参数配置
上图就是进行文件入库所需的配置,文档语言选择中文,文档解析器,可选自带的DeepDoc,还可以选择一些带有视觉功能的大模型(推荐配置都豆包的pro模型,豆包的视觉识别效果亲测很不错)
嵌入模型选择硅基流动的BAAI/bge-m3即可。之前文章的知识库搭建案例里面都是用的txt文件,后续有好些朋友问我多字段的Excel表格文件怎么处理呢。
所以,今天我们就讲另外两个常见案例,用Excel文件、和pdf文件搭建知识库。
pdf知识库
不过我们先看pdf文件,这里我在小米官网下载了一份小米 su7 ultra的参数配置pdf
ragflow的解析方法有11种,每种选中之后,在右边都会展示其适用的文件、数据类型,根据需求进行灵活选择最适配的解析方法。
模型方面,我图方便就都选择硅基流动的模型了,解析方法采用了简单的分块方法。因为su7 ultra的参数配置pdf里面主要就是一些车辆参数,简单分块即可,不存在上下文丢失等问题
数据集->上传文件,直接上传
上传成功之后ragflow不是自动解析的,需要手动解析可以全选之后批量解析,或者选择单个文件进行解析
3分钟内解析完毕,查看详情,分了10个块,看效果感觉解析的还不错。
在聊天->新建助理->可以创建一个bot来关联su7 ultra参数知识库
模型设置这边可以指定模型,以及模型的参数,由于是需要检索回答su7 ultra的车辆参数,是个很严谨的场景,所以模型设置"精确"。
在下图,可以自定义系统提示词,不过ragflow会给个默认的。
相似度阈值:只有相似度分数高于这个阈值的文本块才会被保留;
关键字相似度权重:当设置为 0.7 时,关键词相似度的影响占 70%,剩余的 0.3(30%)则分配给向量相似度或重排序分数;
top N:大模型最终只能接收到前N个块的信息。
设置完成之后点击确定即可。接下来就开始测试啦~
效果如下图,说实话,随便测试了一些问题,回答是相当准确,当没有在知识库中找到答案时,也不会胡乱回答,非常精准。
特别是最后一段总结,我感觉确实把这辆车的亮点总结得非常到位!
最后一段总结,说得我都想买了 哈哈哈
但就是每句话都会说根据知识库内容xxxx然后回答的非常简短,以及机器味儿浓厚。
不过这肯定是系统提示词的问题,调一下会改善很多(不是今天的重点)。
说实话,ragflow的知识库效果确实惊艳,而且这还是在我没有调整任何参数的情况下,有点太恐怖了!
Excel知识库
测试了pdf,我们接下来试试用Excel看看效果。Excel的知识库配置,只需要特别把解析方法换成Table即可(别忘了点保存)。
我准备了一个表格,对应淘宝上 搜索“内存条”的前三页商品信息
表格原始内容,格式如下
上传之后,解析
挺快的,20秒内解析完毕,解析效果如下(按照一行一个块)表格中每列的列标题非常重要,一定要准确的描述清楚每一列所代表的含义!
然后,还是跟刚才一样,创建一个对话bot,将Excel知识库与之关联,就不重复赘述了。测试效果如下:
测试之后,我发现Table格式的知识库,需要更强大、智能的模型来支撑,比如DeepSeek R1、Claude3.7等。
因为表格的数据维度太多了,实测用DeepSeek V3效果不佳,无法智能的推荐商品。
并且相似度阈值和关键字相似度权重需要设置低一些(低于0.5),这样能拿到尽可能多的数据,给大模型判断。
三、ragflow的权限管理
我发现ragflow的权限管理很简单点击右上角头像->团队->邀请,要求填写被邀请对象的邮箱
这里需要填写已经在ragflow注册的邮箱账号。
点击确定后,被邀请人需要在团队页面点击同意,才会加入你的团队空间。
但是你作为团队管理员,并不能设置团队成员角色,默认只有一个normal角色。。。
而团队成员是无法看到管理员创建的bot,agent。
管理员也无法看到成员创建的bot、agent。
只有知识库能设置私有、或者团队。
如果设置为团队,那么团队所有成员都能共用这个知识库。
总结一下, ragflow的权限控制并不细,无法控制单个bot、或者agent的权限。bot、agent是完全隔离的,只有知识库可控制私有或者共享。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。