RAG 全链路评测工具 —— Ragas

已于 2024-01-08 20:43:32 修改
阅读量1.2k 收藏 8
点赞数 22
分类专栏： RAG 文章标签： rag如何测评 rag效果如何 rag测评框架
于 2024-01-08 20:41:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/star1210644725/article/details/135465893
版权

  RAG是目前比较火热的一个概念。对应的应用如雨后春笋般涌出。我们在实际的探索中，可能会有各种各样的优化方案。但是优化是否有用呢？模型影响会有多大呢？ 我们需要一把尺子，来做全链路的衡量。才能够得出，到底应该朝哪个方向走。

  自动化评估大模型增强检索RAG方案的好坏，实现基于场景数据选择大模型增强检索框架、embedding算法、大模型底座等，从而更好服务业务。

  如何构建测试数据集呢？如何选择模型能？在构建数据集上，是一个头疼的问题。

  

  这里提供一个全链路评测工具ragas。这里提供了所有的链接。因为官方提供的文档已经飞非常全了。我会提供对应的gitbub地址，讲解视频，文档等。ragas让评测变得简单。

 

ragas 讲解视频地址

国内

Ragas：自动化评估大模型增强检索RAG方案的好坏，实现基于场景数据选择大模型增强检索框架、embedding算法、大模型底座等，从而更好服务业务_哔哩哔哩_bilibili

 国外

https://www.youtube.com/watch?v=euUXqSPq5D4

ragas 官方地址

GitHub - explodinggradients/ragas: Evaluation framework for your Retrieval Augmented Generation (RAG) pipelines

ragas 官方文档地址

Introduction | Ragas

水的精神
关注
  • 22
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于langchain的RAG实战
02-19
基于langchain的RAG实战
【AI大模型应用开发】【RAG评估】2. 实战：LangChain x RAGAs x LangSmith联合评估RAG应用，兼看如何借助LangSmith有效学习LangChain
同学小张的博客
02-26 1550
今天我们完整的实战：将RAGAs集成在LangChain的RAG应用中，同时打通LangSmith平台，使评估过程可视化。同时还会有意外收获：带你看看如何利用LangSmith平台来有效学习LangChain的使用和相关知识。
RAGAS
emphmeral的博客
01-12 548
（对生成的答案有害性和正确性进行评估）其目的是根据预定义的方面（例如和）评估提交。此外，用户可以灵活地定义自己的方面，以便根据自己的具体标准评估提交内容。方面批评的输出是二进制的，指示提交是否与定义的方面一致。该评估是使用“答案”作为输入来执行的。LLM 评估员内部的批评根据所提供的方面评估提交的内容。Ragas Critiques 提供了一系列预定义的方面，例如正确性、有害性等（请参阅以获取完整列表）。如果您愿意，您还可以创建自定义方面来根据您的独特要求评估提交内容。strictness。
LangChain的RAG实践
2301_81940605的博客
04-12 1077
RAG技术将这两种记忆类型进行了整合，最终，在知识密集型的NLP任务上，比如QA，比单独使用上述两种类型的记忆获得了更好的效果。接下来将具体介绍RAG如何来补充LLM的一些短板，以及在两种记忆的具体体现，并使用LangChain来实现基本RAG流程。
高级RAG(四)：RAGAs评估
weixin_42608414的博客
01-03 3383
RAGAs (Retrieval-AugmentedGenerationAssessment) 它是一个框架(github官方文档question：用户输入的问题。answer：从 RAG 系统生成的答案(由LLM给出)。contexts：根据用户的问题从外部知识源检索的上下文即与问题相关的文档。： 人类提供的基于问题的真实(正确)答案。这是唯一的需要人类提供的信息。
可视化您的 RAG 数据 — 使用 Ragas 评估您的检索增强生成系统
liferecords的博客
03-08 939
对于没有 ragas 的问题，它是 0.36，对于有 ragas 的问题，它是 0.52。预计该系统在处理 ragas 生成的问题时会表现得更好，因为这些问题是基于可用数据的，而 ChatGPT 直接生成的问题可能来自训练 ChatGPT 的所有数据。此外，许多不包含相关信息的维基百科特定文本添加，例如指向其他语言的链接或编辑注释，形成没有相邻问题的集群。它有助于在相关文档的上下文中查看问题。事实证明，同时转换问题和文档的相似性图对大量问题的帮助不大，因为或多或少的问题聚集在一起，并且往往与文档分开。
Py之Ragas：Ragas(一款用于评估检索增强生成RAG流程的评估框架)的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-16 2809
​ Py之Ragas：Ragas(一款用于评估检索增强生成RAG流程的评估框架)的简介、安装、使用方法之详细攻略 目录 Ragas的简介 Ragas的安装 Ragas的使用方法 Ragas的简介 2023年5月15日，Ragas正式发布，这是一款用于评估检索增强生成（RAG）流程的评估框架。专门的解决方案，用于评估、监控和改进生产中的LLM和RAG应用的性能，包括用于生产质量监控的自定义模型。与创始人交谈 Ragas是一个框架，帮助您评估检索增强生成（RAG）流程。RAG表示一类LLM应用
【AI大模型应用开发】【RAG评估】1. 通俗易懂：深度理解RAGAS评估方法的原理与应用
同学小张的博客
02-25 3475
本文我们针对RAGAS评估方法进行详细介绍。我们将深入其原理，理解其评估指标背后是怎么实现的。都是我根据自己的理解用大白话解释，保证大家能看懂。
RAG的评测工具及其指标含义
Summerworth的博客
02-01 1068
(1)Context Relevance: retrieval, make sure that each chunk of context is relevant to the input query, evaluate context relevance by using the structure of the serialized record.(2)Groundedness: separate the response into individual claims and independently
使用 RAGAs 评估 RAG 应用
安静的软件工程师
02-27 1428
使用 RAGAs 评估 RAG 应用
用于大模型RAG的检索语料
03-14
用于大模型RAG的检索语料
doremi-script:简单的乐谱 - 123 abc doremi 等等
06-01
哆啦A梦 DoremiScript是一种用于创建的小型语言。 它目前支持西方 ABC 风格的符号、使用 1234567 的、使用英文字母 SrRgGmMPdnN 的符号，如在 AACM 中用于标注 Ragas 的，以及使用 Devanagri 字母作为 sargam 字母。 DoremiScript允许您使用易于阅读、易于编写的纯文本格式编写字母音乐符号，然后使用 css 和 html 很好地对其进行格式化。 DoremiScript 还可以通过转换器生成标准的西方符号。 试试 AACM Sargam 风格的样本输入 Rag:Bhairavi Tal:Tintal Title:Bansuri Author:Traditional Source:AAK Mode: phrygian Filename: bansuri.sargam Time: 4/4 Key: d
LP2950CZ-3.3RAG的技术参数
12-12
产品型号:LP2950CZ-3.3RAG输出电压典型值(V):3.300输出电流典型值(A):0.100极性:正压差典型值(V):[email protected]输入电压最大值(V):30封装/温度(℃):TO92/-40~125描述:100mA低压差稳压器价格/1片(套):￥3.50  
大模型-大模型RAG应用基础认知视频
03-16
大模型系列基础认知之一：大模型RAG应用基础认知
RAG应用全流程RAG应用全流程
最新发布
05-03
RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG应用全流程RAG...
RAG本地离线训练自己的ChatPDF
02-05
RAG训练用PDF样例（太平洋金诺人生保险条款）
LLMs之RAG：LangChain-ChatGLM-Webui(一款基于本地知识库(各种文本文档)的自动问答的GUI界面实现)的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-24 3173
​ LLMs之RAG：LangChain-ChatGLM-Webui(一款基于本地知识库(各种文本文档)的自动问答的GUI界面实现)的简介、安装、使用方法之详细攻略 目录 LangChain-ChatGLM-Webui的简介 LangChain-ChatGLM-Webui的安装 LangChain-ChatGLM-Webui的使用方法 LangChain-ChatGLM-Webui的简介 2023年5月份，LangChain-ChatGLM-Webui项目实现了基于本
书生·浦语：大模型全链路开源体系（三）——RAG
2301_77286822的博客
01-10 1373
自chatgpt一夜爆火以来，LLM模型，展现出了惊人的发展能力和未来潜力，在人们的人常生活的方方面面发挥着，越来越重要的作用，大学生用它生成论文的草稿、企业在大模型的基础上制作新一代的智能客服，工程师们甚至用它提高芯片设计和开发的效率。为解决幻觉和知识更新的问题，提出了检索增强生成（RAG）方法。所谓RAG就相当于是给模型增加一个外部的知识库，模型遇到专业性强，以及在其训练范围之外的知识时，就可以直接从知识库中寻找，这就极大的缓解了幻觉和知识更新的问题。），运行web_demo.py文件即可。
neo4j rag 增強
03-24
Neo4j RAG（Relationships, Attributes, and Graphs）增强是Neo4j图数据库的一个功能扩展，它提供了一些额外的功能和工具，以增强图数据库的关系、属性和图形处理能力。 1. 关系增强（Relationships Enhancement）：Neo4j RAG增强提供了更多的关系操作和查询功能，例如，可以通过关系的类型、属性和方向进行更精确的查询和过滤。同时，还可以对关系进行排序、分页和限制等操作。 2. 属性增强（Attributes Enhancement）：Neo4j RAG增强允许对节点和关系的属性进行更复杂的操作和计算。例如，可以使用内置函数和表达式对属性进行数学运算、字符串处理、日期计算等操作，还可以进行属性的聚合、分组和统计等操作。 3. 图形增强（Graphs Enhancement）：Neo4j RAG增强提供了更多的图形处理功能，例如，可以进行图形的合并、拆分、剪切和复制等操作，还可以进行图形的可视化和导出等操作。此外，还可以对图形进行路径查询、社区检测和图形算法等操作。 总之，Neo4j RAG增强为Neo4j图数据库提供了更多的功能和工具，使得用户可以更方便地处理和分析图数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值