FlashRAG

已于 2024-07-08 10:13:50 修改
阅读量1.8k 收藏 14
点赞数 11
分类专栏： LLM & AIGC 文章标签： FlashRAG rag 检索 生成 大模型
于 2024-05-29 11:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovechris00/article/details/139178017
版权

LLM、AIGC、RAG 开发交流裙：377891973

文章目录

一、关于 FlashRAG

FlashRAG 是一个用于复现和开发检索增强生成 (RAG) 研究的 Python 工具包。

工具包包括 32 个预处理的基准 RAG 数据集和 12 个最先进的 RAG 算法。

在这里插入图片描述

借助 FlashRAG 和提供的资源，您可以轻松地在 RAG 域中重现现有的 SOTA 作品或实现自定义的 RAG 流程和组件。

FlashRAG 是根据MIT 许可证授权的。

特点 ✨

  • 🛠 广泛且可定制的框架：包括 RAG 场景的基本组件，例如检索器、重新排序器、生成器和压缩器，允许灵活组装复杂的管道。
  • 🗂 全面的基准数据集：32 个预处理的 RAG 基准数据集的集合，用于测试和验证 RAG 模型的性能。
  • 🎯 预实现的高级 RAG 算法：基于我们的框架，具有 12 种先进的 RAG 算法，并报告了结果。可轻松在不同设置下重现结果。
  • 🧩 高效的预处理阶段：通过提供检索的语料库处理、检索索引构建和文档预检索等各种脚本，简化 RAG 工作流程准备。
  • 🚀 优化执行：通过 vLLM、用于 LLM 推理加速的 FastChat 和用于向量索引管理的 Faiss 等工具增强了库的效率。

🔧 安装

要开始使用 FlashRAG，只需从 Github 克隆并安装（需要 Python 3.9+）：

git clone https://github.com/RUC-NLPIR/FlashRAG.git
cd FlashRAG
pip install -e .

二、快速入门🏃

1、Toy Example

运行以下代码，使用提供的玩具数据集实现一个简单的 RAG 管道。

默认检索器是e5，默认生成器是llama2-7B-chat。

您需要在以下命令中填写相应的模型路径。

如果您希望使用其他模型，请参阅下面的详细说明。

cd examples/quick_start
python simple_pipeline.py \
    --model_path=<LLAMA2-7B-Chat-PATH> \
    --retriever_path=<E5-PATH>

代码完成后可以在相应路径下的输出文件夹里查看运行的中间结果以及最终的评估分数。

注意： 此示例仅用于测试整个流程是否能正常运行，我们的示例检索文档仅包含 1000 条数据，因此可能无法获得良好的结果。

2、使用现成的管道

您可以使用我们已经构建好的pipeline类（如pipelines所示）来实现里面的RAG流程，这种情况下，只需要配置config，加载对应的pipeline即可。

首先加载整个流程的config，里面记录了RAG流程中需要用到的各种超参数，可以把yaml文件作为参数输入，也可以直接作为变量输入，变量作为输入的优先级高于文件。

from flashrag.config import Config

config_dict = {'data_dir': 'dataset/'}
my_config = Config(config_file_path = 'my_config.yaml',
                config_dict = config_dict)

您可以参考我们提供的基础yaml文件来设置自己的参数，具体参数名称及含义请参考config参数说明。

接下来加载相应的数据集，并初始化管道。管道中的组件将被自动加载。

from flashrag.utils import get_dataset
from flashrag.pipeline import SequentialPipeline
from flashrag.prompt import PromptTemplate
from flashrag.config import Config

config_dict = {'data_dir': 'dataset/'}
my_config = Config(config_file_path = 'my_config.yaml',
                config_dict = config_dict)
all_split = get_dataset(my_config)
test_data = all_split['test']

pipeline = SequentialPipeline(my_config)

您可以使用以下方式指定自己的输入提示PromptTemplete：

prompt_templete = PromptTemplate(
    config, 
    system_prompt = "Answer the question based on the given document. Only give me the answer and do not output any other words.\nThe following are given documents.\n\n{reference}",
    user_prompt = "Question: {question}\nAnswer:"
)
pipeline = SequentialPipeline(my_config, prompt_template=prompt_templete)

最后执行pipeline.run即可得到最终结果。

output_dataset = pipeline.run(test_data, do_eval=True)

包含output_dataset输入数据集中每项的中间结果和度量分数。

同时，包含中间结果和总体评估分数的数据集也将保存为文件（如果指定了save_intermediate_data和save_metric_score）。

3、建立自己的管道

有时你可能需要实现更复杂的RAG流程，你可以构建自己的流水线来实现，只需要继承BasicPipeline，初始化你需要的组件，完成run功能即可。

from flashrag.pipeline import BasicPipeline
from flashrag.utils import get_retriever, get_generator

class ToyPipeline(BasicPipeline):
  def __init__(self, config, prompt_templete=None):
    # Load your own components
    pass

  def run(self, dataset, do_eval=True):
    # Complete your own process logic

    # get attribute in dataset using `.`
    input_query = dataset.question
    ...
    # use `update_output` to save intermeidate data
    dataset.update_output("pred",pred_answer_list)
    dataset = self.evaluate(dataset, do_eval=do_eval)
    return dataset

了解您需要使用的组件的输入和输出形式 ：

https://github.com/RUC-NLPIR/FlashRAG/blob/main/docs/basic_usage.md

4、只需使用组件

如果您已经有自己的代码，只想使用我们的组件来嵌入原有的代码，您可以参考组件的基本介绍来获取各个组件的输入输出格式。

三、组件⚙️

在 FlashRAG 中，我们构建了一系列常用的 RAG 组件，包括检索器、生成器、refiners 等。

基于这些组件，我们组装了多个管道来实现 RAG 工作流，同时还提供了灵活性，可以按自定义方式组合这些组件以创建您自己的管道。

1、RAG 组件
TypeModuleDescription
JudgerSKR JudgerJudging whether to retrieve using SKRmethod
RetrieverDense RetrieverBi-encoder models such as dpr, bge, e5, using faiss for search
BM25 RetrieverSparse retrieval method based on Lucene
Bi-Encoder RerankerCalculate matching score using bi-Encoder
Cross-Encoder RerankerCalculate matching score using cross-encoder
RefinerExtractive RefinerRefine input by extracting important context
Abstractive RefinerRefine input through seq2seq model
LLMLingua RefinerLLMLingua-series prompt compressor
SelectiveContext RefinerSelective-Context prompt compressor
GeneratorEncoder-Decoder GeneratorEncoder-Decoder model, supporting Fusion-in-Decoder (FiD)
Decoder-only GeneratorNative transformers implementation
FastChat GeneratorAccelerate with [FastChat](
vllm GeneratorAccelerate with vllm
2、管道

参考有关检索增强生成的调查，我们根据推理路径将 RAG 方法分为四类。

  • 顺序：RAG 过程的顺序执行，如查询-（检索前）-检索器-（检索后）生成器
  • 条件：针对不同类型的输入查询实现不同的路径
  • 分支：并行执行多个路径，合并每个路径的响应
  • 循环：迭代执行检索和生成

在每个类别中，我们都实现了相应的通用流程，部分流程还有相应的工作底稿。

TypeModuleDescription
SequentialSequential PipelineLinear execution of query, supporting refiner, reranker
ConditionalConditional PipelineWith a judger module, distinct execution paths for various query types
BranchingREPLUG PipelineGenerate answer by integrating probabilities in multiple generation paths
SuRe PipelineRanking and merging generated results based on each document
LoopIterative PipelineAlternating retrieval and generation
Self-Ask PipelineDecompose complex problems into subproblems using self-ask
Self-RAG PipelineAdaptive retrieval, critique, and generation
FLARE PipelineDynamic retrieval during the generation process

四、支持方法🤖

我们实施了 12 部作品，其一致设定如下：

对于开源方法，我们利用我们的框架实现了它们的流程。对于作者没有提供源代码的方法，我们会尽量遵循原论文中的方法进行实现。

对于某些方法特有的必要设置和超参数，我们在具体设置栏中进行了记录。更多详细信息，请查阅我们的代码。

需要注意的是，为了确保一致性，我们使用了统一的设置。但是，此设置可能与该方法的原始设置不同，导致结果与原始结果有所不同。

MethodTypeNQ (EM)TriviaQA (EM)Hotpotqa (F1)2Wiki (F1)PopQA (F1)WebQA(EM)Specific setting
Naive GenerationSequential22.655.728.433.921.718.8
Standard RAGSequential35.158.935.321.036.715.7
AAR-contriever-kiltSequential30.156.833.419.836.116.1
LongLLMLinguaSequential32.259.237.525.038.717.5Compress Ratio=0.5
RECOMP-abstractiveSequential33.156.437.532.439.920.2
Selective-ContextSequential30.555.634.418.533.517.3Compress Ratio=0.5
Ret-RobustSequential42.968.235.843.457.233.7Use LLAMA2-13B with trained lora
SuReBranching37.153.233.420.648.124.2Use provided prompt
REPLUGBranching28.957.731.221.127.820.2
SKRConditional25.555.929.828.524.518.6Use infernece-time training data
Self-RAGLoop36.438.229.625.132.721.9Use trained selfrag-llama2-7B
FLARELoop22.555.828.033.920.720.2
Iter-Retgen, ITRGLoop36.860.138.321.637.918.2

五、支持数据集📓

我们收集并处理了 35 个在 RAG 研究中广泛使用的数据集，并对其进行了预处理，以确保格式一致，方便使用。对于某些数据集（例如 Wiki-asp），我们根据社区内常用的方法对其进行了调整，以适应 RAG 任务的要求。

对于每个数据集，我们将每个分割保存为一个jsonl文件，每行是一个字典，如下所示：

{
  'id': str,
  'question': str,
  'golden_answers': List[str],
  'metadata': dict
}

以下是数据集列表以及相应的样本大小：

TaskDataset NameKnowledge Source# Train# Dev# Test
QANQwiki79,1688,7573,610
QATriviaQAwiki & web78,7858,83711,313
QAPopQAwiki//14,267
QASQuADwiki87,59910,570/
QAMSMARCO-QAweb808,731101,093/
QANarrativeQAbooks and story32,7473,46110,557
QAWikiQAwiki20,3602,7336,165
QAWebQuestionsGoogle Freebase3,778/2,032
QAAmbigQAwiki10,0362,002/
QASIQA-33,4101,954/
QACommenseQA-9,7411,221/
QABoolQwiki9,4273,270/
QAPIQA-16,1131,838/
QAFermiwiki8,0001,0001,000
multi-hop QAHotpotQAwiki90,4477,405/
multi-hop QA2WikiMultiHopQAwiki15,00012,576/
multi-hop QAMusiquewiki19,9382,417/
multi-hop QABambooglewiki//125
Long-form QAASQAwiki4,353948/
Long-form QAELI5Reddit272,6341,507/
Open-Domain SummarizationWikiASPwiki300,63637,04637,368
multiple-choiceMMLU-99,8421,53114,042
multiple-choiceTruthfulQAwiki/817/
multiple-choiceHellaSWAGActivityNet39,90510,042/
multiple-choiceARC-3,3708693,548
multiple-choiceOpenBookQA-4,957500500
Fact VerificationFEVERwiki104,96610,444/
Dialog GenerationWOWwiki63,7343,054/
Entity LinkingAIDA CoNll-yagoFreebase & wiki18,3954,784/
Entity LinkingWNEDWiki/8,995/
Slot FillingT-RExDBPedia2,284,1685,000/
Slot FillingZero-shot REwiki147,9093,724/

六、其他常见问题解答 🙌

2024-05-24（五）

FlashRAG：可能是最全的、最快搭建RAG的开源框架
南七小僧的学海无涯
12-05 377
尽管已有多种创新算法和模型被提出以提升 RAG 系统的性能，但由于缺乏统一的标准化框架，加之 RAG 过程的复杂性，研究人员在一致环境中比较和评估这些方法面临挑战。为了应对这一挑战，本篇论文作者推出了FlashRAG，这是一个开源库，旨在帮助研究者轻松复现现有的RAG方法，并开发他们自己的RAG算法。该库允许研究者利用构建好的管道复现现有工作，使用提供的RAG组件构建自己的流程，或利用组织好的数据集和语料库加速他们的RAG工作流程。在流程层面，根据RAG发展的现状，实现了8种常见的RAG流程。
轻量级高效RAG框架（FlashRAG）
weixin_43156294的博客
01-23 1002
在自然语言处理（NLP）领域，随着知识密集型任务（如问答系统、知识图谱填充、文档生成等）的需求不断增加，传统的语言模型在处理这些任务时可能会因为缺乏足够的外部知识而出现信息不准确或不完整的情况。FlashRAG是一种轻量级且高效的检索增强生成（Retrieval Augmented Generation，RAG）框架。RAG框架的核心是结合信息检索和语言生成技术，以提供更准确、更有针对性的文本生成服务。
【NLP】2024 年十大 RAG 框架 Github
sikh_0529的博客
11-08 1450
检索增强生成 (RAG) 已成为增强大型语言模型功能的强大技术。RAG 框架将基于检索的系统与生成模型的优势相结合，从而实现更准确、更情境化和更及时的响应。随着对复杂 AI 解决方案的需求不断增长，GitHub 上出现了许多开源 RAG 框架，每个框架都提供独特的功能和能力。RAG 框架有什么作用？​RAG 工作流程(RAG) 是一种 AI 框架，它通过整合外部知识源来增强大型语言模型 (LLM) 的功能。
论文分享|Arxiv2024‘人大|FlashRAG—快速开发和公平评估RAG算法
weixin_45783724的博客
07-10 1362
FlashRAG 是一个 Python 工具包，用于复现和开发检索增强生成（RAG）算法。此工具包包括 32 个经过预处理的基准 RAG 数据集和 12 种最先进的 RAG 算法。以下是架构图：最底层为组件层，包含RAG中的各种常用组件，包含检索器，重排器，压缩器，生成器，打分器等。第二层为流程层，包含顺序，分支，迭代，循环，条件等流程，这部分主要是合理使用各种组件来实现具体的算法第三层为数据层，包含用于检索的语料数据和用于评估的各种任务数据。
检索增强生成（RAG）技术与应用的全景图
AI人工智能的学习之路
02-24 812
检索增强生成（RAG）是人工智能领域中一种先进技术，它将大型语言模型（LLMs）的能力与实时数据检索相结合，以提供上下文相关且最新的响应。这种方法解决了传统LLMs的局限性，这些模型通常依赖于静态的预训练数据，导致输出内容过时或不准确。RAG系统通过从外部知识源动态检索信息，如知识库、API或网络，增强了响应的相关性和时效性。
RAG工具：FlashRAG用于高效 RAG 研究的 Python 工具包
python12345_的博客
11-04 1350
FlashRAG 是一款专为 RAG 研究开发的 Python 工具包，它帮助研究者和开发者更方便地再现和开发检索增强生成的各类应用。该工具包集成了高效的检索与生成组件，旨在让用户能够快速搭建 RAG 系统，从而探索文本生成、信息检索、回答生成等任务的各种可能性。FlashRAG 的核心优势在于简洁且高效的 API，它能够兼容现有的多种检索模型和生成模型。同时，它的模块化设计让用户能够自由定制检索和生成流程，方便根据不同应用需求进行调整。
FlashRAG：一个高效的用于研究RAG的模块化工具包
m0_59235945的博客
06-28 1053
为了应对研究人员在RAG领域复现研究和高开发成本方面面临的挑战，我们引入了一个模块化的RAG工具包FlashRAG。我们的工具包包括全面的RAG基准数据集、先进的RAG方法实现以及用于预处理语料库和多个评估指标的代码。它使研究人员能够轻松地复现现有的RAG方法，开发新的算法，并专注于优化他们的研究。相信FlashRAG能为RAG研究领域提供有力的支持和帮助。
人民大学研究团队发布FlashRAG工具包，为RAG研究提供标准化高效解决方案，赋能研究全流程
2401_84208172的博客
12-18 1091
简单来说，RAG是一种将大语言模型 (LLM) 与外部知识库结合的技术。LLM就像一个见多识广的语言专家，能说会道，但它有时也会“一本正经地胡说八道”，也就是我们常说的“幻觉问题”。这是因为LLM的知识来源于训练数据，而训练数据不可能涵盖所有信息，这就导致了LLM在面对一些特定问题时可能会“信口开河”。
FlashRAG复现指南
weixin_60719139的博客
12-15 2055
在完成整个复现的过程，我深深感受到复现这个项目对于没有人工智能基础的人来说的困难。各种配置上的报错，插件之间不兼容，配置文件填写的要求。包括我一开始甚至没下载模型到本地就想跑通（实在是异想天开）。所以我也写了这个FlashRAG复现指南，希望可以帮助到大家。然后大家记得多读文档。在\FlashRAG\docs下，有作者提供的大量文档（我也是吃了一开始没看到的亏，导致遇到很多问题），然后还有\FlashRAG\README.md。本文也是基于以上文档调试出来的经验。
flashRAG框架
02-28
### 关于 flashRAG 框架 目前，关于 `flashRAG` 框架的具体文档和使用案例并未在常见的开源社区或官方资源中广泛提及。然而，在 IT 领域内存在许多类似的框架用于处理特定的任务流或数据操作。 为了提供一个假设性...
Traceback (most recent call last): File "/new_disk3/chen_zhang/zc/FlashRAG/A330/test.py", line 14, in <module> se = DuckDuckGoSearchEngine() ^^^^^^^^^^^^^^^^^^^^^^^^ File "/new_disk3/chen_zhang/zc/FlashRAG/A330/test.py", line 5, in __init
最新发布
04-01
### 关于 Python 中 DuckDuckGo Search Engine 初始化错误的分析 在处理 `DuckDuckGoSearchEngine` 类的初始化错误时，通常会遇到与依赖库配置不当、环境变量缺失或网络连接问题有关的情况。以下是对此问题的具体...
FlashRAG-Paddle | 基于PaddleNLP的高效开发与评测RAG框架
百度大脑
11-26 206
产品亮点1. FlashRAG-Paddle：组件化、模块化的RAG框架全面且可定制的RAG框架，集成检索器、重排序器、生成器和压缩器等核心组件，提供36个基准数据集和9种先进算法，辅以高效预处理脚本，简化流程，轻松实现复杂RAG场景下的模型测试与验证。2. PaddleNLP: 超大Batch嵌入表示学习和多硬件高性能推理PaddleNLP提供一站式大语言模型解决方案，支持超大Batch嵌入学习...
人大高瓴发布FlashRAG-Paddle！基于PaddleNLP的高效开发与评测RAG框架
Paper weekly
12-26 133
论文标题：FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research作者机构：中国人⺠大学高瓴人工智能学院论文链接：https://arxiv.org/abs/2405.13576项目链接 (Paddle版本)：https://github.com/RUC-NLPIR/FlashRAG-Padd...
2025年，20个最值得关注的RAG框架，部分开源
m0_59235699的博客
01-30 3475
分享20个值得关注的RAG框架。检索增强生成（RAG）框架通过整合检索机制与生成模型，有效推动了大型语言模型（LLM）的发展。现在，各界对人工智能解决方案的需求日益旺盛，在 GitHub 上涌现出了诸多开源 RAG 框架，各具特色与功能。知识检索：作为核心功能，它可从外部知识库获取相关信息，为大型语言模型提供必要的上下文支持。生成模型增强：借助检索所得信息对大型语言模型的输入进行优化，促使模型生成的回复更精准、更具时效性且契合上下文。
2024年十大开源RAG框架
m0_59164304的博客
10-26 2393
检索增强生成（RAG）已成为增强大型语言模型能力的一项强大技术。RAG框架结合了基于检索系统的优点与生成模型的优势，能够提供更准确、更具上下文感知能力以及更及时的响应。随着对复杂AI解决方案的需求增长，许多开源的RAG框架在GitHub上涌现，每个框架都提供了独特的功能和能力。检索增强生成（RAG）是一种人工智能框架，通过整合外部知识源来增强大型语言模型（LLM）的能力。RAG通过从知识库中检索相关信息并利用这些信息来增强LLM的输入，从而使得模型能够生成更准确、更及时且更符合上下文的相关响应。
10个最流行的RAG开发框架
新缸中之脑
10-27 3808
检索增强生成 (RAG) 已成为增强大型语言模型功能的强大技术。RAG 框架将基于检索的系统与生成模型的优势相结合，从而实现更准确、更了解上下文和更最新的响应。随着对复杂 AI 解决方案的需求不断增长，GitHub 上出现了许多开源 RAG 框架，每个框架都提供独特的功能和能力。简化的RAG 工作流程检索增强生成 (RAG) 是一种 AI 框架，它通过整合外部知识源来增强大型语言模型 (LLM) 的功能。
10 个顶级的 RAG 框架，开源的
star_nwe的博客
01-24 3947
检索增强生成（RAG）已成为一种强大的技术，用于增强大型语言模型的能力。RAG框架结合了基于检索的系统的优点和生成模型的优点，能够提供更准确、更具上下文意识且更及时的响应。随着对复杂AI解决方案的需求不断增长，GitHub上出现了许多开源的RAG框架，每个框架都提供了独特的功能和能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程乐园

请我喝杯伯爵奶茶~！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值