FastGPT：利用大模型重新定义传统知识库

最新推荐文章于 2024-09-13 14:51:43 发布
最新推荐文章于 2024-09-13 14:51:43 发布
阅读量1.6k 收藏 26
点赞数 18
文章标签： 人工智能 embedding 深度学习 gpt ai大模型 LLM 知识库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python12345678_/article/details/141674062
版权

引言

传统知识库的痛点

传统知识库广泛应用于企业文档管理、客户支持等场景，但随着信息量和复杂度的增加，存在以下显著问题：

  • 数据难整合： 结构化与非结构化数据分散，更新维护成本高。
  • 检索不精准： 依赖关键词匹配，难以理解语义，导致检索结果不相关或无效。
  • 用户体验差： 操作繁琐、学习曲线陡峭，缺乏智能和个性化支持。

AI时代对知识库需求

在信息爆炸和数字化转型背景下，企业需要更加智能的知识库。结合AI大模型的知识库具备以下优势：

  • 语义级检索： 通过语义理解，提供精准的查询结果。
  • 智能交互： 支持自然语言对话，用户体验更佳。
  • 自动化维护： 实现数据的自动整合与更新，降低维护成本。

在大模型的加持下，让以上问题有了新的解法，今天我们来介绍FastGPT如何利用AI大模型重新定义传统知识库。

01.

FastGPT知识库工作原理

01 FastGPT简介

FastGPT是一个基于大语言模型（LLM）的智能化平台，擅长理解和处理自然语言。它通过深度学习技术，可以从各种数据源中自动提取和整合信息，生成语义丰富的知识库，并实现智能化的响应和检索。

02 FastGPT知识库工作原理

图片

  1. 数据预处理：将文本拆分成更小的片段，比如：句子、段落。

  2. 文本向量化：利用大模型生成语义高维向量。

  3. 索引构建：将生成的语义向量构建成索引，通常包括向量索引和倒排索引。索引有助于快速检索相关片段，提高响应速度。

  4. 检索与匹配：当用户查询时，查询内容也会被向量化，并在索引中匹配相关的语义向量

  5. AI对话：利用大模型的上下文理解能力，理解用户需求，生成自然回答。

02.

搭建FastGPT知识库步骤

我们先来看一张FastGPT的部署架构图，主要包括FastGPT、MongoDB、PostgreSQL、OneAPI：

图片

FastGPT有多个版本，分别为PgVector、Milvus、zilliz cloud，分别对应不同的配置要求，如下图：

图片

文本仅作演示，因此选择PgVector版本

前置工作

Step1 确保网络环境

如果使用OpenAI等国外模型接口，请确保可以正常访问，否则会报错：Connection error 等

Step2 准备 Docker 环境

# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
# 如失效，自行百度~

开始部署

Step1 下载 docker-compose.yml

所有 docker-compose.yml 配置文件中 MongoDB 为 5.x，需要用到AVX指令集，部分 CPU 不支持，需手动更改其镜像版本为 4.4.24（需要自己在docker hub下载，阿里云镜像没做备份）

Linux 快速脚本

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

# pgvector 版本(测试推荐，简单快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
# milvus 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

Step2 启动容器

在 docker-compose.yml 同级目录下执行。请确保docker-compose版本最好在2.17以上，否则可能无法执行自动化命令。

# 启动容器
docker-compose up -d
# 等待10s，OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题，不重启的话会提示找不到渠道，临时手动重启一次解决，等待作者修复)
docker restart oneapi

Step3 打开 OneAPI 添加模型

简单说明一下OneAPI的作用和原理，这里可以把OneAPI当作一个接口网关：

  • 默认情况下，FastGPT 只配置了 GPT 的模型，如果你需要接入其他模型，需要进行一些额外配置。
  • One API 是一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
  • FastGPT 可以通过接入 One API 来实现对不同大模型的支持

通过 ip:3001 访问OneAPI，默认账号为 root 密码为 123456。

在oneapi中添加合适的AI模型渠道，如果搭建服务器可以访问openai，则可以跳过此步骤.

图片

如果想使用国内大模型或者本地部署的模型，*下文会涉及*。

Step4 访问 FastGPT

目前可以通过 ip:3000 直接访问(注意防火墙)。登录用户名为 root，密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。

图片

02.

接入国产大模型

如果无法科学上网，或者想接入国产大模型，甚至知识库可能设置一些敏感数据，想接入本地大模型的，可以参考本章节，这里以接入国产大模型为例，接入本地大模型类似。

FastGPT可以统一接入不同模型的核心原理，是借助了另一个开源项目的能力：oneapi

项目地址：https://github.com/songquanpeng/one-api

Step1 打开oneapi，添加渠道

图片

因为这里只是做演示用途，我们可以使用阿里灵积提供的免费开源大模型

模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models

我们这里使用 qwen1.5-1.8b-chat 作为文本处理模型，text-embedding-v2 作为索引模型（文本向量）

密钥获取地址：https://dashscope.console.aliyun.com/apiKey

图片

Step2 测试渠道

图片

添加 text-embedding-v2 渠道方法同理

Step3 修改FastGPT配置文件

测试通过后，我们需要修改FastGPT的配置文件，然后重启FastGPT

打开 fastgpt/config.json，在llmModels下添加 qwen1.5-1.8b-chat 的配置，注意 datasetProcess 需要设置为 true，如下图所示：

图片
在这里插入图片描述

在 vectorModels 标签下添加 text-embedding-v2

图片
在这里插入图片描述

重启FastGPT

docker-compose down
docker-compose up -d

Step4 创建知识库

打开FastGPT，点击左侧“知识库”，右上角点击 “创建”

图片

选择“通用知识库”

图片

文本处理模型选择刚刚配置好的 qwen1.5-1.8b-chat，索引模型选择 text-embedding-v2

图片

创建完成后，进入知识库，点击创建/导入，这里以导入文本数据集为例

图片

这里准备了一个docx文本数据，这里描述了发生故障的时间和根因。实际操作中，可以使用企业内部沉淀的学习资料，故障复盘等、操作手册等

图片

导入时，选择“本地文件”

图片

图片

数据处理方式

图片

关于训练模式的选择：

  • 直接分段：将文本按一定的规则进行分段处理后，转成可进行语义搜索的格式，适合绝大多数场景。不需要调用模型额外处理，成本低。
  • 增强处理（实验）：通过子索引以及调用模型生成相关问题与摘要，来增加数据块的语义丰富度，更利于检索。需要消耗更多的存储空间和增加 AI 调用次数。
  • 问答拆分：根据一定规则，将文本拆成一段较大的段落，调用AI 为该段落生成问答对。有非常高的检索精度，但是会丢失很多内容细节。

上传数据

图片

图片

创建应用

点击工作台，创建“简易应用”

图片

填写应用名字，选择“知识库+对话引导”

图片

创建成功后，进入应用，修改AI模型：qwen1.5-1.8b-chat

图片

选择AI模型

可以根据需要调整模型温度、回复上限、和聊天记录数量

图片

关联知识库

图片

选择刚刚创建的知识库

图片

图片

发布应用

图片

问答测试

选择我们刚刚创建好的应用，就可以开始聊天了

图片

我们尝试提问某天发生了什么故障，以及根因是什么？

图片

可以看出，FastGPT根据知识库给出了准确答案，根据AI进行了扩展，问答下方有标注答案应用的出处

图片

点击回答下方的查看详情，可以看到知识库的工作流程。

首先，FastGPT会根据将用户提问的问题交给向量模型做向量化，然后匹配本地知识库索引

图片

结合上下文发送给AI大模型，生成自然语言的回答。

图片

这里再简单说明下使用文本向量作为索引模型的原因：

文本向量的原理

  1. 什么是文本向量：可以把文本向量想象成一个由数字组成的“坐标”，用来表示一句话或一段文字。比如，假设我们把每句话都放在一张巨大的地图上，这些数字就是地图上表示它们的位置。
  2. 为什么要这样做：当两句话的意思很相似时，它们的“坐标”会在地图上靠得很近；如果意思差很多，坐标就会离得远。这种方式能帮助计算机理解哪些句子在说同一件事。
  3. 如何生成这种“坐标”：生成这些坐标的方法有很多，比如通过机器学习，让计算机“读”大量的文本，学会用数字来表达语义信息。这样一来，计算机就能理解一些复杂的语言含义，而不仅仅是词语的表面意思。

FastGPT知识库使用文本向量的原因

  1. 更聪明的搜索：传统的搜索只能匹配关键词，如果用户的提问和知识库中的表达方式不完全一样，可能找不到正确的答案。而用文本向量，系统可以理解提问的真正意思，即使用词不同，也能找到相关的答案。
  2. 应对不同的说法：人们表达同一个意思的方式可能千差万别。文本向量能让系统识别这些不同的表达，从而更好地理解用户的问题。
  3. 更灵活：随着知识库中的信息增加，文本向量可以帮助系统更容易地找到新知识，保持回答的准确性，而不需要频繁更新或手动调整。

总的来说，FastGPT之所以用文本向量作为索引方式，是因为它可以更智能、更灵活地理解和处理用户的提问，让系统在搜索和回答问题时更加精准。

总结

本篇文章详细介绍了如何使用FastGPT搭建向量知识库。FastGPT充分利用了大模型的自然语言处理和对话能力，大幅提高了知识搜索的精确度，同时优化了用户的使用体验。

此外，文章还阐述了FastGPT知识库的工作原理。通过将文本转换为向量来建立索引，并借助大模型的上下文理解能力，系统能够为用户生成准确且符合语境的回答。

这种方法不仅提升了信息检索的效率，还显著改善了用户与知识库的交互方式。

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

AI大模型_学习君
关注
FastGPT 知识库搜索测试功能解析（二）
Linux猿
07-20 706
本文接上一篇文章对具体代码进行解析。
大模型应用：大模型AI Agent在企业应用中的6种基础类型，企业智慧升级必备
丨汀、的博客
04-26 1563
大模型应用：大模型AI Agent在企业应用中的6种基础类型，企业智慧升级必备
使用 FastGPT 构建高质量 AI 知识库
favxxx的博客
09-11 2896
向量搜索是一种可以比较文本相似度的技术。大模型具有总结和推理能力，可以从给定的文本中回答问题。最有效的知识库构建方式是 QA 和手动构建。Q 的长度不宜过长。需要调整提示词，来引导模型回答知识库内容。可以通过调整搜索相似度、最大搜索数量和限定词来控制模型回复的范围。关于 SealosSealos 是一款以 Kubernetes 为内核的云操作系统发行版。它以云原生的方式，抛弃了传统的云计算架构，转向以 Kubernetes 为云内核的新架构，使企业能够像使用个人电脑一样简单地使用云。
FastGPT，知识库AI ！保姆级教程，5分钟上手
favxxx的博客
09-21 1万+
国内直联GPT！清风 AIchat 手把手保姆级使用教程，适合小白“未来几年，所有组织的管理、业务都将AI化，如何利用AI技术，是每一个管理者必须思考的问题”自从去年 12 月 ChatGPT 发布后，带动了新的一轮应用交互革命。尤其是 GPT-3.5 接口全面放开后，LLM 应用雨后春笋般快速涌现。企业信息化1.0 是电算化，2.0 是移动化，3.0 就是 AI 智能化了。企业 AI 化时代，员工关心是如何提高写作效率、工作效率；管理者关心的是如何提高组织的整体效率，促进业务，带动销售，提效降费。
小白之 FastGPT Windows 本地化部署
qq_51047851的博客
08-25 1951
小白之 FastGPT Windows 本地化部署
保姆级教程：FastGPT构建个人本地知识库(Docker compose快速部署)
热门推荐
m0_62536353的博客
01-22 3万+
FastGPT构建个人知识库，使用Docker compose部署
基于FastGPT搭建知识库问答系统
wbsu2004的博客
04-26 8267
FastGPT 是基于 LLM 大模型的 AI 知识库构建平台。
FastGPT知识库结构讲解
Maynor的博客
03-15 2811
因此，FastGPT 采用了多向量映射的方式，将一组数据映射到多组向量中，从而保障数据的完整性和语义的丰富度。影响向量搜索精度的因素非常多，主要包括：向量模型的质量、数据的质量（长度，完整性，多样性）、检索器的精度（速度与精度之间的取舍）。人类的文字、图片、视频等媒介是无法直接被计算机理解的，要想让计算机理解两段文字是否有相似性、相关性，通常需要将它们转成计算机可以理解的语言，向量是其中的一种方式。你可以为一组较长的文本，添加多组向量，从而在检索时，只要其中一组向量被检索到，该数据也将被召回。
Fastgpt本地或服务器私有化部署常见问题
洛阳泰山的博客
07-16 604
Fastgpt本地或服务器私有部署常见问题遇到问题和排查解决办法
Chainlit集成LlamaIndex并使用通义千问模型实现AI知识库检索网页对话应用
最新发布
洛阳泰山的博客
09-13 1219
LlamaIndex是一个数据框架，它主要为基于大语言模型（LLM）的应用程序设计，允许这些应用程序摄取、结构化并访问私有或特定领域的数据。这种框架对于那些希望利用LLM的强大能力来处理自身专属数据集的组织来说尤其有用。由于大多数公开的大语言模型都是在大量的公共数据上训练的，它们缺乏对用户特定数据的理解，而这正是LlamaIndex发挥作用的地方。LlamaIndex支持Python和TypeScript，使得开发者可以通过使用这些编程语言来集成和操作数据。
无缝融入，即刻智能[一]：Dify-LLM大模型平台，零编码集成嵌入第三方系统，42K+星标见证专属智能方案
丨汀、的博客
08-12 1473
无缝融入，即刻智能[一]：Dify-LLM大模型平台，零编码集成嵌入第三方系统，42K+星标见证专属智能方案
如何搭建基于大模型的智能知识库
weixin_43737299的博客
01-25 7993
基于RAG与LLM的知识库作为目前最有潜力的企业端大模型应用之一，从技术角度可以看到，建设方案已经完备；从业务角度，最终的应用效果和业务价值还需要观察，并通过业务侧的反馈不断地促进建设方案的进一步优化，比如增加对多模态知识的处理能力等。让我们共同期待这类应用普及那一天的到来。
手把手教你基于 FastGPT 搭建个人知识库
java优质资源提供与创作者
12-22 1万+
对于您的账户（org-FPtm4iWkzMglOZn9J06QAK6F）中的 text-embedding-ada-002 模型来说，每分钟的请求限制是 3 次，您已经使用了 3 次请求，但是您又发送了 1 次请求，所以您需要等待 20 秒后再试。如果您在账户https://platform.openai.com/account/billing中添加了付款方式，您可以增加您的请求限制。我们可以通过向 GPT 提供一些有针对性的资料，然后让 AI 根据这些文档进行交互式对话，回答我们的问题。
AI时代，我用FastGPT低成本搭建了企业知识库问答系统
sunsky89757的博客
01-25 3105
在当今信息过载的环境下，企业面临着知识资产流失、关键信息获取困难、新员工培训难度大以及资源重复浪费等问题。为解决这些问题，企业知识库是一个理想的解决方案。
最适合知识库的大模型
m0_59235945的博客
05-23 1153
我最感兴趣的AI公司、最喜欢的大模型，不是OpenAI和他们的GPT，而是Cohere，以及他们的Command R+。这家公司在国内是没啥名气——大部分人只知道OpenAI，甚至连Anthropic这种级别都很少被关注。但是在业内，Cohere绝对是不容忽视的存在。别看这家公司的创始人非常年轻，要知道，人家可是《Attention is All You Need》的作者之一。正是这篇论文，开启了这一轮大模型技术的爆发。在创业之初，他们本来是准备面向C端市场的。
FastGPT
道亦无名
04-08 428
对于想要构建自己的AI知识库、给其他人提供GPT服务或者在公司/组织内部使用GPT的用户来说，FastGPT是一个很好的选择。它提供了丰富的功能和灵活的集成方式，可以满足不同用户的需求。FastGPT是一个基于LLM大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。
FastGPT：给 GPT 插上知识库的翅膀！0基础搭建本地私有知识库，有手就行
u010522887的专栏
07-11 1761
本篇带领大家采用FastGPT，搭建一个基于本地知识库检索的问答系统。
AI知识库这事儿FastGPT是专业的
程序员半支烟，wechat：yclxiao
07-24 821
在搭建AI知识库这事儿上，有不少成熟的框架，我推荐使用FastGPT。这篇文章笔者就使用过的两款平台做个比较，FastGPT和百度千帆平台。
fastgpt知识库
07-26
fastgpt知识库是一个专为快速获取高质量信息而设计的知识管理系统。它采用了先进的自然语言处理技术、机器学习算法以及搜索引擎优化策略，旨在提供快速、准确、全面的信息查询服务。 fastgpt知识库的特点包括： 1. **高效检索**：通过深度学习模型优化搜索算法，能够迅速从海量数据中定位到最相关的结果，极大地提高了查询效率。 2. **智能推荐**：基于用户历史查询记录和个人偏好，系统能自动推荐可能感兴趣的内容，提升用户体验。 3. **内容丰富**：包含广泛领域的专业资料、新闻资讯、学术论文等，无论是学习新知识还是解决特定问题都能找到所需资源。 4. **更新及时**：不断引入最新的研究成果和技术进展，保证信息的新鲜度和可靠性。 5. **隐私保护**：注重用户隐私安全，在提供便捷服务的同时，采取措施保护用户的个人信息不被泄露。 6. **交互友好**：界面简洁明了，操作简便直观，支持多种输入方式（如文本、语音），满足不同用户的习惯需求。 7. **多终端访问**：支持网页端、移动端等多种设备接入，让用户随时随地都能访问到所需的知识信息。 fastgpt知识库的目标是成为全球领先的智能信息服务平台，为个人学习成长、科学研究、技术创新等领域提供强大的支撑。同时，它还致力于推动人工智能技术的发展，促进知识传播的有效性和普及性。 --- 相关问题 --- 1. fastgpt知识库如何保障数据的安全性和准确性？ 2. 用户在使用fastgpt知识库时需要注册账号吗？ 3. fastgpt知识库是否支持离线访问？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值