LlamaIndex介绍

最新推荐文章于 2024-08-22 18:03:08 发布

谁怕平生太急

最新推荐文章于 2024-08-22 18:03:08 发布

阅读量1k

点赞数 23

分类专栏： Agent 文章标签：大模型 Agent langchain llamaindex

本文链接：https://blog.csdn.net/jinselizhi/article/details/139436948

版权

14 篇文章 2 订阅

订阅专栏

教程分成以下部分：

1、入门

2、学习

3、用例

4、示例

5、高级

6、组件指南

用额外的信息来提高回答的质量。

在这里插入图片描述

分为 5个阶段：

（1）loading 加载原始文件，LlamaHub 提供数百种连接器可供选择

node 节点和 document 文档：document 指的是数据源的容器，比如PDF、API等；node 指的是 Llamaindex 中数据的原子单元，表示 document 的“块”。节点具有元数据（将它们与所在的文档以及其他节点相关联）
connectors 连接器：connectors 或叫 Reader 作用是将来自不同数据源和数据格式的数据提取到 documents 和 nodes中

（2）Indexing 创建允许查询数据的数据结构，即 vector embeddings，以便找到query的相关数据、即上下文

Indexes 索引：Indexes 一旦您导入了数据，LlamaIndex将帮助您将数据索引到易于检索的结构中。这通常涉及生成 vector embeddings，这些嵌入存储在称为 vector store 的专用数据库中。索引还可以存储有关数据的各种元数据。
Embeddings：数据的数字表示。LlamaIndex会将查询转化为嵌入表示，而您的向量存储将找到与查询嵌入数值上相似的数据。

（3）storing 存储索引或其他元数据

（4）querying 查询，包括子查询、多步查询和混合策略

Retrievers 检索器：检索器定义了如何在给定查询时高效地从索引中检索相关上下文。检索策略是检索到的数据相关性及其执行效率的关键
Routers 路由器：路由器决定使用哪个检索器从知识库中检索相关上下文。更具体地说，RouterRetriever类负责选择一个或多个候选检索器来执行查询。它们使用选择器基于每个候选者的元数据和查询来选择最佳选项
Node Postprocessors 节点后处理器：node postprocessor 接收一组检索到的节点，并对它们 applies transformations 应用转换、filtering 过滤或 re-ranking 重新排序的逻辑
Response Synthesizers 响应合成器：Response Synthesizers 利用用户查询和一组给定的检索到的文本块，从LLM生成响应