hawk2014bj
这个作者很懒,什么都没留下…
展开
-
LlamaIndex 介绍
有没有其他相对容易并节省资源的方式呢?检索 (Retrieval): 根据用户输入查询,从知识库中检索相关的文档或段落。增强 (Augmentation): 将检索到的信息与输入内容结合,提供额外的上下文。生成 (Generation): 语言模型利用输入和检索到的信息生成回答。通过以上这三步,借助外部知识的填充,模型就是根据最新的上下文信息对数据进行回答。原创 2024-08-21 21:16:18 · 538 阅读 · 0 评论 -
LlamaIndex 实现 RAG(四)- RAG 跟踪监控
LlamaIndex 中可以集成多种监控工具,现在开源、闭源的 AI 监控工具很多,无论选择何种工具,核心功能就是监控数据流、提示词、文档块。在测试过程中,需要根据大模型的返回进行评估,并根据结果进一步调优模型、提示词、Embedding 模型等等。RAG 过程数据非常重要,是后续优化的基础。下一篇我们看一下如何对 RAG 的结果进行评估,并持续优化 RAG 各个组件。原创 2024-08-26 19:40:03 · 772 阅读 · 0 评论 -
LlamaIndex 实现 RAG(三)- 向量数据库
嵌入模型用于通过复杂的数值来表示文档,嵌入模型将文本作为输入,并返回一个向量,向量用于捕捉文本的语义。这些嵌入模型经过训练,能够以向量方式表示文本,并帮助实现语音搜索。从高层次来看,如果用户提出一个关于狗的问题,那么该问题的向量与讨论狗的文本的向量将非常相似。在计算向量之间的相似度时,有许多方法可以使用(点积、余弦相似度等)。默认情况下,LlamaIndex在比较嵌入时使用余弦相似度。本文介绍了LlamaIndex 中向量数据库的使用,向量数据库产品很多,至少有几十个。原创 2024-08-25 22:14:19 · 633 阅读 · 0 评论 -
LlamaIndex 实现 RAG (一)
本文简单实现 RAG 的流程,并实现了可视化页面,关于文档的切分以及 RAG 不同组件的详细讲解,会在后续文章继续分享。代码地址:https://gitcode.com/hawk2014bj/llamaindex/overview源代码也可以从资源中下载。原创 2024-08-22 18:03:08 · 947 阅读 · 0 评论 -
LlamaIndex 实现 RAG(五)- RAG 评估
本文介绍了如何使用 LlamaIndex 对 RAG 系统进行评估,整个评估系统的底座还是基于大模型,使用更高级别 / 参数更多的模型进行评估。由于有了评估的结果数据,很容易可以对数据进行可视化展示,可以更直观的观察评估效果,也可以多轮评估进行比较跟踪 RAG 优化效果。原创 2024-08-28 11:42:17 · 32 阅读 · 0 评论 -
LlamaIndex 实现 RAG(二)- 文档解析
本文对 LlamaIndex 中文档的索引进行了介绍,包括不同文档使用不同解析方式,文档的处理在 RAG 中起到了关键作用,对文档的分块策略也会直接影响到 RAG 的搜索效果,在落地开发中要根据自己的业务场景进行设计。原创 2024-08-24 13:34:03 · 792 阅读 · 0 评论