LlamaIndex 实现 RAG(四)- RAG 跟踪监控

RAG 整个流程不复杂,集成三大部分包括文档解析并生成向量、根据查询问题查找语意相似的数据文档块、把查询问题和召回文档作为上下文的数据传给模型进行解答。大语言模型的应用开发和传统的开发方式区别很大,以前开发完成,只要逻辑正确,结果肯定是固定的,但是由于模型的特性,结果是基于概率计算的,加上自然语言的特殊性,近义词很多,每次回答都是正确的,但是返回的内容确不一样,可能是有些词改为了近义词,也可能描述的角度不一样了。

如果不加以控制,可能模型回答正确率就达不到要求,例如,如果模型正确率 60%,5 次回答中有 2 次是错的,这个用户就无法接受了。所以监控和评估对于 RAG 来讲就尤其重要,本文将介绍如何使用 LlamaIndex 进行 RAG 整体流程监控以及跟踪。

RAG监控

如何跟踪监控 RAG流程,监控的方式可以分为日志监控和可视化监控,日志监控可以提高开发阶段的效率,清晰的了解每一步 RAG 都做了什么,传的参数是什么,返回结果是什么。大语言模型的开发需要集成多方组件,而且大量使用提示词,如果链路很长,找问题是一个比较耗时的工作。下面将介绍如何通过日志方式和可视化的方式进行 RAG 的跟踪。

打开Log 日志

在 LlamaIndex 中通过以下代

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值