向量数据库 PieCloudVector 进阶系列丨打造以 LLM 为基础的聊天机器人

OpenPie｜拓数派

已于 2024-11-19 09:45:04 修改

阅读量954

点赞数 22

分类专栏： OpenPie｜拓数派文章标签： OpenPie 向量数据库 PieCloudVector 数据库云原生聊天机器人

于 2024-11-08 10:16:43 首次发布

本文链接：https://blog.csdn.net/OpenPie/article/details/143615348

版权

本系列前两篇文章深入探讨了 PieCloudVector 在图片和音频数据上的应用之后，本文将聚焦于文本数据，探索 PieCloudVector 对于文本数据的向量化处理、存储以及检索，并最终结合 LLM 打造聊天机器人的全流程。

在自然语言处理任务中涉及到大量对文本数据的处理、分析和理解，而向量数据库在其中发挥了重要的作用。本文为《PieCloudVector 进阶系列》的第三篇，将为大家介绍如何利用 PieCloudVector 打造聊天机器人（Chatbot）。

PieCloudVector + LLM 打造问答聊天机器人

基于 PieCloudVector 打造聊天机器人的过程可分为三个步骤，具体流程如下：

数据的向量化和存储： 通过语言 embedding 模型进行文字的向量化处理，并将其存储至 PieCloudVector。
构建检索流程： 当用户提出查询时，将查询转化为向量，并在向量数据库中执行相似性搜索，找到最相关的向量，即最匹配的信息片段。
打造聊天机器人： 结合大语言模型（gpt-3.5 等）和提示词工程，根据用户的问题，生成自然语言回答。

基于 PieCloudVector 打造 LLM 为基础的聊天机器人

当用户提出问题后，系统将执行与用户问题相关的文本检索。随后，检索到的数据将被发送给大型语言模型，模型根据接收到的内容生成相应的回答。本文将结合实例演示，重点介绍前两个步骤：数据的向量化和存储、构建检索流程。

在处理文字数据时，我们采用与图片数据处理相似的方法：利用语言 Embedding 模型将文本转换成向量形式，将这些向量存储到数据库中。下面我们将详细介绍如何将文本数据转换为向量形式并进行相似查询的过程。

1. 数据集准备

实例中使用的 Wikipedia 数据集依旧来自 Hugging Face，详情见 Wikipedia[1]。

from datasets import load_dataset
dataset = load_dataset("wikipedia", "20220301.simple", split="train[:500]")

该数据集有以下所示四个特征：

In: dataset. features

Out: {'id': Value(dtype='string', id=None), 
      'url': Value(dtype='string', id=None), 
      'title': Value(dtype='string', id=None), 
      'text': Value(dtype='string', id=None)}

以第一条数据为例，每个特征所对应的数据如下：

print("**text id**:", dataset['id'][0])
print("**text url**:", dataset['url'][0])
print("**text title**:", dataset['title'][0])
print("**text content**:", dataset['text'][0])

打印结果如下图所示