10分钟构建本地知识库，让 ChatGPT 更加懂你

最新推荐文章于 2024-05-08 13:43:57 发布
最新推荐文章于 2024-05-08 13:43:57 发布
阅读量1.2k 收藏 4
点赞数 1
分类专栏： 大模型 文章标签： chatgpt AIGC 人工智能 大模型 langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59596990/article/details/134628638
版权

大家好，本文将从零开始构建本地知识库，从而辅助 ChatGPT 基于知识库内容生成回答。

这里再重复下部分核心观点：

  1. 向量：将人类的语言（文字、图片、视频等）转换为计算机可识别的语言（数组）。

  2. 向量相似度：计算两个向量之间的相似度，表示两种语言的相似程度。

  3. 语言大模型的特性：上下文理解、总结和推理。

这三个概念结合起来，就构成了 “向量搜索 + 大模型 = 知识库问答” 的公式。

技术交流群

建了技术答疑、交流群！想要进交流群、资料的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

方式①、添加微信号：mlc2060，备注：技术交流
方式②、微信搜索公众号：机器学习社区，后台回复：技术交流

在这里插入图片描述

一、FastGPT 部署

1.介绍

FastGPT 是目前 Prompt 串接做的最好的项目，知识库核心流程图如下:
在这里插入图片描述

从官方简介也可以看出很牛逼：

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

2. 安装 Docker

话不多说直接开干，首选需要我们安装 Docker 应用，这里以 Windows 安装为例（其他系统可自行百度解决）。

Docker 官网 ：https://www.docker.com/get-started/

进入官网双击下载的 Docker for Windows Installer 安装文件，一路 Next，点击 Finish 完成安装。

安装完成后，Docker 会自动启动。通知栏上会出现个小鲸鱼的图标，这表示 Docker 正在运行。

我装的 docker-desktop 自带了 docker-compose，如果未安装可以去官网进行下载。

Docker-Compose 官网：https://docs.docker.com/desktop/install/windows-install/

安装 Docker 还是比较简单，如果遇到大家可直接百度解决，网上这类文章很多。

3. 配置文件

先创建一个文件夹

# 创建文件夹
mkdir fastgpt

# 进入文件夹
cd fastgpt

创建 config.json，内容如下：

{
  "FeConfig": {
    "show_emptyChat": false,
    "show_contact": false,
    "show_git": false,
    "show_doc": true,
    "systemTitle": "个人知识库",
    "limit": {
      "exportLimitMinutes": 0
    },
    "scripts": []
  },
  "SystemParams": {
    "vectorMaxProcess": 15,
    "qaMaxProcess": 15,
    "pgIvfflatProbe": 20
  },
  "ChatModels": [
    {
      "model": "gpt-3.5-turbo",
      "name": "GPT35-4k",
      "contextMaxToken": 4000,
      "quoteMaxToken": 2000,
      "maxTemperature": 1.2,
      "price": 0,
      "defaultSystem": ""
    },
    {
      "model": "gpt-3.5-turbo-16k",
      "name": "GPT35-16k",
      "contextMaxToken": 16000,
      "quoteMaxToken": 8000,
      "maxTemperature": 1.2,
      "price": 0,
      "defaultSystem": ""
    },
    {
      "model": "gpt-4",
      "name": "GPT4-8k",
      "contextMaxToken": 8000,
      "quoteMaxToken": 4000,
      "maxTemperature": 1.2,
      "price": 0,
      "defaultSystem": ""
    }
  ],
  "VectorModels": [
    {
      "model": "text-embedding-ada-002",
      "name": "Embedding-2",
      "price": 0,
      "defaultToken": 500,
      "maxToken": 3000
    }
  ],
  "QAModel": {
    "model": "gpt-3.5-turbo-16k",
    "name": "GPT35-16k",
    "maxToken": 16000,
    "price": 0
  },
  "ExtractModel": {
    "model": "gpt-3.5-turbo-16k",
    "functionCall": true,
    "name": "GPT35-16k",
    "maxToken": 16000,
    "price": 0,
    "prompt": ""
  },
  "CQModel": {
    "model": "gpt-3.5-turbo-16k",
    "functionCall": true,
    "name": "GPT35-16k",
    "maxToken": 16000,
    "price": 0,
    "prompt": ""
  },
  "QGModel": {
    "model": "gpt-3.5-turbo",
    "name": "GPT35-4k",
    "maxToken": 4000,
    "price": 0,
    "prompt": "",
    "functionCall": false
  }
}

再创建 docker-compose.yml 文件，内容如下：

# 非 host 版本, 不使用本机代理
version: '3.3'

services:
  pg:
    # 使用阿里云的 pgvector 镜像
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.4.2
    container_name: pg
    restart: always
    # 生产环境建议不要暴露端口
    ports:
      - "5432:5432"
    networks:
      - fastgpt
    # 环境变量配置，首次运行生效，修改后需删除持久化数据再重启
    environment:
      - POSTGRES_USER=username
      - POSTGRES_PASSWORD=password
      - POSTGRES_DB=fastgpt
    # 卷挂载，包括初始化脚本和数据持久化
    volumes:
      - ./pg/init.sql:/docker-entrypoint-initdb.d/init.sh
      - ./pg/data:/var/lib/postgresql/data

  mongo:
    # 使用阿里云的 mongo 镜像
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18
    container_name: mongo
    restart: always
    # 生产环境建议不要暴露端口
    ports:
      - "27017:27017"
    networks:
      - fastgpt
    # 环境变量配置，首次运行生效，修改后需删除持久化数据再重启
    environment:
      - MONGO_INITDB_ROOT_USERNAME=username
      - MONGO_INITDB_ROOT_PASSWORD=password
    # 卷挂载，包括数据和日志
    volumes:
      - ./mongo/data:/data/db
      - ./mongo/logs:/var/log/mongodb

  fastgpt:
    container_name: fastgpt
    # 使用阿里云的 fastgpt 镜像
    image: registry.cn-hangzhou.aliyuncs.com/david_wang/fastgpt:latest
    ports:
      - "3000:3000"
    networks:
      - fastgpt
    # 确保在 mongo 和 pg 服务启动后再启动 fastgpt
    depends_on:
      - mongo
      - pg
    restart: always
    # 可配置的环境变量
    environment:
      - DEFAULT_ROOT_PSW=123456
      - OPENAI_BASE_URL=https://api.openai.com/v1
      - CHAT_API_KEY=sk-*****
      - DB_MAX_LINK=5
      - TOKEN_KEY=wenwenai
      - ROOT_KEY=wenwenai
      - FILE_TOKEN_KEY=filetoken
      - MONGODB_URI=mongodb://username:password@mongo:27017/fastgpt?authSource=admin
      - PG_URL=postgresql://username:password@pg:5432/fastgpt
    # 配置文件的卷挂载
    volumes:
      - ./config.json:/app/data/config.json

# 定义使用的网络
networks:
  fastgpt:

注意修改 docker-compose.yml 中的 CHAT_API_KEY 为你的 OpenAI Key 即可。

4. 启动

执行命令启动本地知识库：

# 在 docker-compose.yml 同级目录下执行
docker-compose pull
docker-compose up -d

执行完成后就可以在浏览器上通过 http://localhost:3000/ 网址来访问个人知识库了。

二、构建知识库

基于上述操作我们已经成功访问到个人知识库页面，接下来带大家创建导入个人数据进行访问。

登录用户名为 root，密码为 docker-compose.yml 环境变量里设置的 DEFAULT_ROOT_PSW。

在这里插入图片描述

1. 创建知识库

成功登录后，新建一个知识库，这里将我的个人经历导入，所以取名为知白个人经历。

在这里插入图片描述

通过文件将个人经历导入到知识库中。

在这里插入图片描述

确认后就开始将当前数据转化为向量数据。
在这里插入图片描述

全文大约2300多字，大概3~5分钟就导入完成了。由于文本限制问题，按照固定字数拆分为了8个数据集。

在这里插入图片描述

至此，我们的个人知识库已经建好了。我们尝试进行问答，这里的 0.7881 就是向量相似度，相似度越高的越靠前。

在这里插入图片描述

2. 使用知识库

创建一个应用来使用知识库。

在这里插入图片描述

这里简单设置了一下开场白，选择并绑定对应知识库。

在这里插入图片描述

开始对话，效果展示如下：

在这里插入图片描述

三、总结

我们从零到一完成了本地个人知识库的搭建，整体花费时间也较短，刨除安装 Docker 的时间预计在10分钟左右。

后续对召回内容从多方面进行详细分析，从而使回答内容更加符合我们的预期。

关注我 一起做AI时代的弄潮儿！

机器学习社区
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ChatGPT时代的机遇与挑战
04-03
1、引言 ...　与很多聊天机器人不同，ChatGPT追求的不是外形与人类接近，而是让你在聊天中感觉TA真的懂你。TA不仅知识渊博，对你提出的很多问题都可以给出答案(虽然这些答案未必是正确的)，更重要的是TA说
懂你英语Level5Unit1Part2.pdf
03-16
懂你英语Level5Unit1Part2.pdf懂你英语Level5Unit1Part2.pdf懂你英语Level5Unit1Part2.pdf懂你英语Level5Unit1Part2.pdf懂你英语Level5Unit1Part2.pdf
阿里千问大模型 Qwen1.5 开源 32B 模型，将开源进行到底！！！
2201_75499313的博客
04-07 2005
模型参数：词表大小152064，64层、隐藏层维度5120，支持32k长度。],看看指标。从指标上来看，Qwen1.5-32B模型，相较于72B模型有一些差距，但是由于Yi-34B和Llama2-34B很多。Yi在30B级别的地位不保啦。32B-Chat版本模型在MT-Bench榜单上超过8分，并且与72B-Chat版本模型差距较小。Qwen1.5-32B还支持多语言，包括阿拉伯语、西班牙语、法语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语和印尼语等，相关评测如下。
轻松搭建本地知识库的ChatGLM2-6B
Python，数据分析，机器学习，深度学习
09-08 4666
近期发现了一个项目，它的前身是ChatGLM，在我之前的博客中有关于ChatGLM的部署过程，本项目在前者基础上进行了优化，可以基于当前主流的LLM模型和庞大的知识库，实现本地部署自己的ChatGPT，并可结合自己的知识对模型进行微调，让问答中包含自己上传的知识。依托于本项目支持的开源 LLM 与 Embedding 模型，本项目可实现全部使用模型。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入。
手把手教你从零搭建自己的知识库
最新发布
youmaob的博客
05-08 1034
Word2Vec是一种用于处理自然语言处理的模型，它是在2013年由Google的研究员Mikolov等人首次提出的。Word2Vec通过训练海量的文本数据，能够将每个单词转换为一个具有一定维度的向量。这个向量就可以代表这个单词的语义。因为这个向量是在大量语境中学到的，所以这个向量能很好的表达这个单词的语义。Word2Vec包括Skip-Gram和CBOW两种模型，主要是通过优化模型计算词与词之间的关系，从而获得词的向量表示。Skip-Gram模型是通过一个词预测其上下文。
（学习总结）如何使用ChatGPT API训练自定义知识库
weixin_74923758的博客
03-08 1939
1. 首先，打开终端，运行下面的命令，移动到桌面。这是我保存 “docs” 文件夹和 “app.py” 文件的地方。如果你把这两个项目保存在其他位置，通过终端移动到那个位置。cd Desktop2. 现在，运行下面的命令。Linux和macOS用户可能要使用python3。3. 现在，它将开始使用OpenAI LLM模型分析该文件，并开始为信息编制索引。根据文件的大小和你的计算机的能力，它将需要一些时间来处理该文件。一旦完成，将在桌面上创建一个 “index.json” 文件。
基于Llama2和LangChain构建本地化定制化知识库AI聊天机器人
08-24 4808
相比OpenAI的LLM ChatGPT模型必须网络连接并通过API key云端调用模型，担心数据隐私安全。基于Llama2和LangChain构建本地化定制化知识库AI聊天机器人，是将训练好的LLM大语言模型本地化部署，在没有网络连接的情况下对你的文件提问。100%私有化本地化部署，任何时候都不会有数据离开您的运行环境。你可以在没有网络连接的情况下获取文件和提问!
快速入门，ChatGPT怎么建立私有知识库？
随机指定的博客
08-07 2725
privateGPT目录下的source_documents是放置源文档的目录，我们可以将自己的想要问答的文档放在这里。如果想要修改源文档的内容，可以先修改source_documents目录下的文件内容，然后删除db文件夹，重新执行上面的命令建立数据库。，可以本地私有化部署，在不联网的情况下导入公司或个人的私有文档，然后像使用ChatGPT一样以自然语言的方式向文档提出问题。新建aiworkspace目录，进入此目录，执行以下命令(也可根据自己情况新建目录，建议和作者保持一致，方便对比执行过程)。
LangChain 基于 ChatGPT 构建本地知识库问答应用
小毕超博客
06-25 9215
ChatGPT 非常强大，但是对于一些特有领域的内容会有些吃力，通过构建构建本地知识库丰富ChatGPT的能力。
基于GPT3.5实现本地知识库解决方案-利用向量数据库和GPT向量接口-实现智能回复并限制ChatGPT回答的范围
张伟的专栏
04-19 4256
标题有点长，但是基本也说明出了这篇文章的主旨，那就是利用GPT AI智能回答自己设置好的问题既能实现自己的AI知识库机器人，又能节省ChatGPT调用的token成本费用。
保姆级教程：FastGPT构建个人本地知识库(Docker compose快速部署)
热门推荐
m0_62536353的博客
01-22 2万+
FastGPT构建个人知识库，使用Docker compose部署
让聊天机器人懂你心情——解密竹间智能的AI助手.pdf
08-14
#资源达人分享计划#
家电行业周报：AWE上海隆重开幕，AI让家电更懂你.pdf
07-10
家电行业周报：AWE上海隆重开幕，AI让家电更懂你.pdf
巾帼不让PCB懂你的美——杨柳：永不停步的逐梦者.pdf
07-25
巾帼不让PCB懂你的美——杨柳：永不停步的逐梦者.pdf
教你六个步骤完成本地知识库搭建
2301_78368467的博客
03-27 967
用通俗易懂的语言说，本地知识库就是一个放在公司电脑或服务器上的知识大宝库。这个宝库里可以放入各种知识，比如公司的规章制度、产品介绍、销售技巧、市场分析报告等等，只要是公司里觉得有用的知识，都可以放进去。有了它，大家就不用到处翻找资料了，直接在知识库里一搜，想要的信息马上就出来了。这样，大家工作起来就更方便了，效率也更高了。简单说，本地知识库就是个让大家更快找到、更好利用公司知识的好帮手。很多企业在进行本地知识库的搭建的时候，也会遇到一些问题，今天就给大家分享本地知识库搭建的详细步骤流程，直接抄！
Dify 基于 ChatGPT 构建本地知识库问答应用
小毕超博客
06-23 8340
不仅能够处理事实性问题，还能理解和生成情感色彩更浓厚的对话内容，能够识别用户的情感倾向，并据此作出相应的回应。例如在学校的场景下，我们需要打造一个学习需求问答系统，问一周的课程，可以回答出：周一需要上。就可以帮助我们低成本的实现上述的功能 ，使其可以精准回答专业领域的知识。课，周三上其他课等，对于类似这种私有化的知识库，如果不对。横空出世之后，其极高的语言理解和交互能力不仅让人惊呼，可以看到已经有了我们想要的效果，最后感觉不错的话，简单实现下上述的场景，由于我们是基本。支撑，所以你需要有一个。
基于langchain+chatGLM搭建部署本地私有化知识库系统
Together_CZ的博客
06-21 1万+
基于langchain+chatGLM搭建部署本地私有化知识库系统
LangChain入门(四)-构建本地知识库问答机器人
Good Luck
05-04 2万+
因为是临时存入，所以当我们上面的代码执行完成后，上面的向量化后的数据将会丢失。如果想下次使用，那么就还需要再计算一次embeddings，这肯定不是我们想要的。其中hnswlib安装不了，去一下网站下载源码解压后，将hnswlib文件夹放在了项目的\Lib\site-packages文件夹中。上面的案例中我们只是将embeddings临时存进了Chroma，只需多加一个路径参数就可以实现持久化。在项目中新建一个data文件夹，里面放一个doc.txt，内容我摘抄一段朱炫大师兄的年少荒唐中的文章。
如何使用ChatGPT API训练自定义知识库AI聊天机器人
张伟的专栏
04-19 8585
现在我们已经建立了软件环境并从OpenAI获得了API密钥，让我们来训练人工智能聊天机器人。在这里，我们将使用 “” 模型，而不是最新的 “gpt-3.5-turbo” 模型，因为Davinci在文本完成方面效果更好。如果你愿意，你完全可以把模型改为Turbo，以减少成本。说完这些，让我们跳到说明上。添加你的文件来训练人工智能聊天机器人1. 首先，在一个可访问的位置（如桌面）创建一个名为docs的新文件夹。你也可以根据自己的喜好选择其他位置。然而，保持文件夹的名称为docs。
keil5 symbol multiply defined
06-28
### 回答1： 不好意思，我不太懂你在说什么。这个错误通常表示在Keil5项目中，同一个符号（变量、函数等）被定义了多次。这会导致编译器无法确定该使用哪个定义，从而产生冲突。 要解决这个问题，您可以尝试以下步骤： 1. 检查您的代码，确保没有重复定义同一个符号。特别是在头文件中，确保使用了正确的宏定义来避免重复定义。 2. 如果您的代码中确实需要多个定义，请使用关键字extern来声明符号，以便编译器知道这些符号将在其他地方定义。 3. 如果您使用了库文件，请检查库文件是否与您的代码冲突。如果是这样，您可能需要使用不同版本的库文件或者手动更改库文件的定义以避免冲突。 希望这些提示能够帮助您解决Keil5符号重复定义的问题。 ### 回答2： Keil5 symbol multiply defined是Keil5开发工具中出现的错误提示，意为“符号重复定义”。 在Keil5开发工具中，符号通常指变量、函数、结构体等标识符。如果同一个符号在程序中出现了多次定义，就会触发“符号重复定义”错误。 造成符号重复定义错误的原因主要有以下几种： 1. 头文件重复包含。头文件中包含了变量或函数的定义，如果一个源文件多次包含同一个头文件，就会导致变量或函数重复定义，从而出现符号重复定义错误。 2. 全局变量或函数重复定义。在程序中定义全局变量或函数时，要确保只定义一次。如果不小心在不同的源文件中多次定义了同一个全局变量或函数，就会出现符号重复定义错误。 3. 宏定义冲突。如果在程序中定义了多个同名宏，也会触发符号重复定义错误。 解决符号重复定义错误的方法主要有以下几种： 1. 检查头文件的使用。确保头文件只包含一次，可以用宏定义或条件编译实现。 2. 检查全局变量或函数的定义。确保只在一个源文件中定义，可以用extern关键字声明在其他源文件中使用。 3. 检查宏定义的使用。确保宏定义只定义一次，并进行命名规范化，避免冲突。 总之，符号重复定义错误是Keil5开发过程中常见的错误之一，但只要仔细检查代码，遵循编程规范，就可以轻松避免这种错误。 ### 回答3： keil是一款常见的嵌入式开发工具，使用它时可能会遇到一些错误，其中之一就是symbol multiply defined。意思是符号重复定义，通常在编译时会出现这个错误。 一般来说，这个错误的原因是在程序中有同名的符号被定义了多次。符号可以是变量、函数、结构体或宏等。如果不同的模块都定义了同名的符号，编译器就无法决定使用哪一个符号。 解决这个错误的方法有两种。第一种是修改程序，保证每个符号都只被定义一次。第二种是使用关键字extern，把符号的定义放到单独的文件中，并在其他模块中使用该符号时加上extern关键字。这样编译器就能够识别出全局的符号定义，避免重复定义。 比如，在main.c中定义了一个全局的变量count： int count = 0; 然后在另一个模块中也定义了同名的变量count： int count = 1; 这时就会出现symbol multiply defined的错误。为了解决这个问题，可以把第二个模块中的定义改成： extern int count; 这样编译器就知道这个符号在另一个模块中已经定义了，并不会引起重复定义的错误。 总之，避免符号重复定义是编写程序时需要注意的一个问题。使用keil时出现symbol multiply defined错误，需要检查程序中是否有同名的符号被定义了多次，并进行相应的修改。使用关键字extern可以将符号定义放到单独的文件中，方便代码的组织和维护。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值