总览
智能问答系统的核心可以分为4部分。
1)知识库构建。
2)检索 。
3)后处理。
4)推理。
-
知识库构建:知识库中可以包含多个向量数据库和知识图谱等,核心是怎么建立索引,使得检索时能够将与问题相关的知识给检索出来。
-
检索:从知识库中的多个库或者知识图谱中检索出与问题相关的信息。
-
后处理:从知识库中检索出来的信息可能是冗余的,而且可能不符合我们希望的格式要求,因此,我们需要对这些数据进行过滤,格式化等操作。
-
推理: 基于检索出来的知识进行推理,让输出能够回答用户的问题,目前主要使用大模型进行推理。
知识库构建
知识库的构建是智能问答的基础,一个高质量和完备的知识库是获取高质量回答的核心。
目前包括两种库: 向量库和知识图谱库。
向量库的构建
我们首先对知识进行一个定义:
每个单位的知识至少包括