Cracked_hitter的博客

RAGas是一个用于评测RAG系统的评测框架，它支持与不同大语言模型的集成，并与langchain生态打通，能够很方便的构建评测系统。下面是RAGas的一些链接官方文档及github对框架的使用介绍的比较详细，本文不会就该方面做更多的赘述。本文尝试深入到框架代码底层，尝试分析相关指标怎样进行的计算。

最近项目中需要评估业务部门搭建的RAG助手的效果好坏，看了一下目前业界一些评测的方法。目前分为两大类，基于传统的规则、机器学习的评测方法，基于大模型的评测方法。在这里做一些记录，上篇主要做评测方法的记录，下篇会详细分析下RAGas评测框架指标的一些实现。

DocsGPT是一个基于GPT3的知识库平台，其支持训练、本地部署，并支持结果导出。

系列文章为基于langchain开发应用时的备忘笔记，供遇到相似问题时翻阅，内容可能不够详细，若阅读过程中遇到困难，欢迎评论&私信交流使用langchain开发项目过程中避免不了需要对接生态还不支持的大模型，langchian为我们做了很好的抽象，只需要扩展器LLM类即可实现自定义llm类。

定义一个工具用于获取乘客的航班信息，定义一个助手Agent用于工具的调用，同时创建graph如下图。

的工具，graph调用时需通过astream_events方法调用。当执行dispatch_custom_event函数时，stream会收到一个on_custom_event事件，事件的name是我们在函数中传入的name。在工具调用过程中，如何将中间状态返回到的stream，可以使用from langchain_core.callbacks import dispatch_custom_event方法实现。这里我们定义了一个模拟。