Embedding及其数据库

我们知道，向量数据库是指用来在进行LLM问答时进行上下文检索的，一个好的向量数据库应该可以将LLM所需的信息提取出来精准匹配，但是由于算法的缺点，embedding数据库通过LLM的向量匹配是比较困难进行提取的，各种各样的距离算法也是效果各不相同，因此后面出现了各式各样的多次RAG来提高准确度，在实际应用场景中，还是有很多需要精度而对时间要求不那么高的场景的。因为，探究RAG的原理及其背后技术成为我们改进的基础。
首先，向量数据库的组成无非就是1.文章的分块器 2.文本预处理分词 3.向量化 4.向量化存储 5.向量检索 这五部分组成。流程是讲得通的，但是具体的原理，需要分别探究下

本专栏组成如下：

• 向量库数据组成
• 向量数据库的变体
• 向量数据库的使用方法
• RAG的主要进展

本文针对向量数据库组成这五部分进行详细描述、对比及分析。

1.文章的分块器

资料的格式往往是各种各样的，比如书籍、表格等等，长文本的出现使得向量化存储时，出现了太多过长的数据。这在大模型进行search时会非常的难受，因此，一个合适长度大小的文本在存储进向量数据库时，会更加的合适。
主要方法有如下：
1.按照固定的大小
2.按照标点符号或者段落
3.按照语义
4.大模型代替分块（成本较高）
5.等等其他方法
无论哪种方法，都不可避免的使得一个块的语义不完整，但这是目前一个比较好的策略
可以详细阅读此文章，以获取在分块时更详细的选择依据分块策略

2.预处理

针对已经分块的文章，格式如下：

“这是一个示例文档…共xxxx字”

首先利用tokenizer对其进行分词成一个list，设分为n个词
则sentence_data的shape为[1,n]
训练tokenizer主要的使用为统计特征。基本上使用目前常用的一些tokenizer即可

3.向量化

向量化的目前是将sentence存储进入数据库，而不同句子长度的token数不同，因此需要进行一些处理，这也是需要进行训练的步骤，好的embedding模型会让向量检索更精准。
以sentence bert 为例，在embedding阶段，他就是将句子的每一个词通过了一个bert模型，再进行一个平均池化，这样就能得到一个固定维度大小的向量。
设embedding维度为 De，则形状变化为[1,n]→[De,n]→[De,1]
在训练阶段的训练方法，是通过两个句子相关label进行训练的，之所以使用bert模型，是因为向量检索时的句子上下文是完整的，被检索的句子也是完整的，因为双向注意力能够最好的获取句子语义特征，从而进行更精准匹配。

4.向量存储

向量存储是为向量检索服务的
基本上来讲，就是索引+元数据+向量进行保存
一般来讲，现在的向量数据库产品都是提供了1.向量数据存储（各种格式）2.向量检索功能。

5.向量检索

向量检索是根据query，对数据库进行检索，将语义相近的文本进行提取的过程，因此，如何从一个巨大的数据库中进行搜索就是一个问题。尤其是一个多维向量。
那么在此基础上，就衍生出了许多搜索算法，基本上做的就是两件事儿：1.减少搜索范围 2.适当降低精度加快速度。至于具体的算法就不进行介绍了，可以去看这篇博客：一文全面了解向量数据库的基本概念、原理、算法、选型