论文笔记：Retrieval-Augmented Generation forAI-Generated Content: A Survey

已于 2024-03-27 22:22:31 修改
阅读量2.3k 收藏 30
点赞数 25
文章标签： 论文阅读
于 2024-03-27 17:16:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/137060948
版权

北大202402的RAG综述

1 intro

1.1 AICG 

  • 近年来，人们对人工智能生成内容（AIGC）的兴趣激增。各种内容生成工具已经精心设计，用于生产各种模态下的多样化对象
    • 文本&代码：大型语言模型（LLM），包括GPT系列和LLAMA系列
    • 图像：DALL-E和Stable Diffusion
    • 视频：Sora
  • "AIGC"这一词强调内容是由高级生成模型而非人类或基于规则的方法产生的
    • 基础模型的架构最初由数百万参数组成，现在已增长到包含数十亿参数

1.2 信息检索

  • 检索旨在从庞大的资源池中定位相关的现有对象
    • 在当前时代，高效的信息检索系统可以处理高达数十亿的文档集合
    • 除了文档外，检索还已应用于其他模态

1.3 AICG的挑战

  • 难以保持知识的最新性
  • 无法整合长尾知识
  • 泄露私有训练数据的风险

1.4 RAG

  • 为了缓解上述挑战，提出了检索增强生成（RAG）
    • 用于检索的知识可以被概念化为非参数记忆
    • 这种形式的记忆容易修改，能够容纳广泛的长尾知识，并且还能编码机密数据
    • 检索还可以用来降低生成成本

  • 一个典型的RAG过程包括：
    • 给定一个输入查询，检索器定位并查找相关的数据源
    • 检索到的结果与生成器互动，以增强整体的生成过程
      • 可以通过不同的方式与生成过程交互
        • 作为生成器的增强输入
        • 在生成的中间阶段以潜在表征的形式加入
        • 以logits的形式贡献到最终的生成结果中
        • 影响或省略某些生成步骤
  • 虽然RAG的概念最初出现在文本到文本的生成中，但它也已被适应于各种领域
    • 代码
    • 音频
    • 图像
    • 视频
    • 知识
    • 科学领域

1.5 本文贡献

  • 提供了关于RAG的全面概述，覆盖了基础、增强、应用、基准测试、限制和潜在的未来方向

2 preliminary

  • 整个RAG系统由两个核心模块组成：检索器和生成器
    • 检索器负责从构建的数据存储中搜索相关信息
    • 生成器负责产生生成的内容

2.1 生成器

  • 将生成器分类为4个主要组别：Transformer、LSTM、扩散模型和GAN
2.1.1 Transformer

2.1.2 LSTM

2.1.3 扩散模型

  • 扩散模型通过逐渐向数据添加噪声直至变成随机，然后反转这一过程从噪声生成新数据
  • 这一过程基于概率建模和神经网络
  • 扩散模型主要有三种等效表述：
    • 去噪扩散概率模型
    • 基于分数的生成模型
    • 随机微分方程

  • 记x0是一个随机变量，遵循数据分布q(x0)；xt是一个在时间步t添加噪声后遵循分布q(xt|x0)的随机变量，DDPM可以如下表述：
    • 前向过程
      • 通过一系列高斯噪声注入扰乱数据，将数据分布q(x0)转化为一个简单的先验分布q(xT) ≈ N(0, I)
      • 每个时间步的转移核由以下给出：
        • βt∈(0,1)是超参数
    • 反向过程
      • 通过一个可学习的马尔可夫链反转前向过程，生成新的数据样本
      • 反向过程从采样xT​∼p(xT​)开始，迭代地采样xt−1​∼pθ​(xt−1​∣xt​)直到t=0
    • 模型训练
      • 模型训练的目标是最大化数据x0的对数似然的变分下界（VLB）

2.1.4 GAN

  • 典型的GAN由两个主要组成部分：一个生成器和一个鉴别器。
  • 这两部分通过对抗学习相互竞争，使得生成器不断提高其生成逼真样本的能力，同时鉴别器不断提高其区分真伪样本的能力。

2.2 检索

  • 检索旨在识别和获取与信息需求相关的信息系统资源
  • 存储的信息资源为(k_i,v_i)_{i=1}^N，k为键值，v为value
  • 给定一个查询q，目标是使用相似度函数s搜索最相似的前k个键，并获取配对的值
2.2.1 稀疏检索器
  • 广泛用于文档检索
  • 利用词项匹配度量如TF-IDF、查询似然和BM2，分析文本中的词项统计并构建倒排索引以实现高效搜索
    • 其中，BM25是工业规模网络搜索中难以超越的基线
    • 对于包含关键词\{q_i\}_{i=1}^n的查询q，文档D的BM25得分是
2.2.2 密集检索器
  • 使用密集嵌入向量表示查询和键，并构建近似最近邻（ANN）索引以加速搜索
最低0.47元/天 解锁文章
【ChatGPT】人工智能生成内容的综合调查（AIGC）：从 GAN 到 ChatGPT 的生成人工智能历史
AI天才研究院
03-31 2万+
俞士纶（Philip S. Yu）是计算机领域学者，是ACM/IEEE Fellow，在伊利诺大学芝加哥分校（UIC）计算机科学系任特聘教授。他在大数据挖掘与管理的理论、技术方面取得了举世瞩目的成就。他针对大数据在规模、速度和多样性上的挑战，在数据挖掘、管理的方法和技术上提出了有效的前沿的解决方案，尤其在融合多样化数据、挖掘数据流、频繁模式、子空间和图方面做出了突破性的贡献。
行业大模型落地的一些有趣调研总结
2301_81940605的博客
05-17 562
一个是目前RAG都有哪些综述，四大综述？一个是关于行业大模型的一些有趣总结，关于一个技术报告，会是在产研上的一个总结性结论。
Retrieval-Augmented Generation for AI-Generated Content: A Survey （RAG检索增强生成）
qq_46094659的博客
03-18 1410
实际的增强过程对最终的生成结果有很大影响。对更先进的增强基础的研究有望充分释放 RAG 的潜力。基于构建的RAG系统，增强功能有助于提高某些组件或整个管道的有效性。鉴于系统固有的复杂性，RAG 存在巨大的改进潜力，需要适当的调整和仔细的工程设计。期待进一步的实验分析和深入探索，开发更有效、更强大的 RAG 系统。正如第四节中所介绍的，RAG 是一种通用技术，已应用于多种模式和任务。然而，大多数现有作品直接整合外部特定生成任务的知识，而没有彻底考虑目标领域的关键特征。2）
ICLR2025 retrieval 相关论文
Vicky
03-21 987
ICLR2025
【论文阅读】Retrieval-Augmented Generation for AI-Generated Content: A Survey
KQe397773106的博客
04-22 2381
人工智能生成内容（AIGC）的发展得益于模型算法的进步、基础模型规模的增加以及大量高质量数据集的可用性。虽然AIGC取得了显著的性能，但仍面临一些挑战，如难以保持最新和长尾知识、数据泄露的风险以及与训练和推理相关的高成本。检索增强生成（RAG）最近出现作为一种范式来解决这些挑战。具体而言，RAG引入信息检索过程，通过从可用数据存储中检索相关对象来增强生成过程，从而提高准确性和鲁棒性。本文全面审查了将RAG技术整合到AIGC场景中的现有努力。
【RAG综述】Retrieval-Augmented Generation for AI-Generated Content: A Survey
Arachis_X的博客
03-09 2707
人工智能生成内容（AIGC）的发展得益于模型算法的进步、可扩展的基础模型架构以及大量高质量数据集的可用性。虽然 AIGC 已经取得了令人瞩目的成绩，但它仍然面临着各种挑战，例如难以维护最新的长尾知识、数据泄漏的风险以及与训练和推理相关的高昂成本。检索增强生成（RAG）是最近出现的一种应对这些挑战的范例。特别是，RAG 引入了信息检索过程，通过从可用数据存储中检索相关对象来增强 AIGC 结果，从而提高准确性和鲁棒性。在本文中，我们全面回顾了将 RAG 技术集成到 AIGC 场景中的现有工作。
【AIGC】《AI-Generated Content (AIGC): A Survey》
bryant_meng
06-26 1389
原文：Wu J, Gan W, Chen Z, et al. Ai-generated content (aigc): A survey[J]. arXiv preprint arXiv:2304.06632, 2023.“1 The Road” 第一本由人工智能写的小说。
增强检索问答RAG研究成果综述 Retrieval-Augmented Generation for AI-Generated Content: A Survey
数智笔记
04-03 1578
论文地址：https://arxiv.org/abs/2402.19473项目存储库：https://github.com/hymie122/RAG-SurveyPenghao Zhao, Hailin Zhang, Qinhan Yu, Zhengren Wang, Yunteng Geng, Fangcheng Fu, Ling Yang, Wentao Zhang, Bin Cui, Fellow, IEEE摘要—人工智能生成内容（AIGC）的发展得益于模型算法的进步、基础模型规模的增加以及大量高质量
论文 | Retrieval-Augmented Generation for Large Language Models: A Survey面向大语言模型的检索增强生成技术：综述(上）
m0_49651195的博客
06-23 1183
最大的挑战是，如何将检索到的文档有效的融入当前的生成任务中。当前的研究主要集中在智能结合不同的搜索技术，优化检索步骤，引入认知回溯概念，灵活运用多样化的查询策略，并利用嵌入式相似度。因此，在检索文档后加入一个额外的验证模块，该模块用来评估文档与查询之间的相关性，这样可以提升RAG的鲁棒性。额外生成模块： 面对检索内容中的冗余和噪声问题，这个模块通过大语言模型生成必要的上下文，而非直接从数据源进行检索。RAG 的组织方法具有高度灵活性，能够根据特定问题的上下文，对 RAG 流程中的模块进行替换或重新配置。
论文阅读：Retrieval-augmented Generation across Heterogeneous Knowledge
qq_44773028的博客
11-24 2565
检索增强生成（RAG）方法越来越受到NLP社区的关注，并在许多NLP下游任务上取得了最先进的性能。与传统的预训练生成模型相比，
RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读
ZhenL9911的博客
06-26 2170
很多参数知识存储在LLMs中的参数中（LAMA这篇文章证明），针对下游任务微调之后可以取得SOTA效果。但是这种方式具有一定的劣势：在Open-QA任务上，仍然还很欠缺，（语言模型还不能很好的获取精确知识）、给出的答案不具有可解释性，对于知识库无法实现实时更新的效果，不便于更新。论文提出RAG：参数化知识（BART预训练学到的知识） ＋ 非参数化知识（维基百科的密集向量索引）结合的方式来解决这三类问题。开放域问答。
什么是AIGC（AI Generated Content, 人工智能生成内容）？
qq_45833373的博客
07-15 5809
AI生成内容（AIGC，人工智能生成内容）是一种新型的内容创作方式，它继承了专业生产内容（PGC，Professional-generated Content）和用户生成内容（UGC，User-generated Content）的优点，并充分发挥技术优势，打造了全新的数字内容生成与交互形态。随着科技的不断发展，AI写作、AI配乐、AI视频生成、AI语音合成以及最近非常热门的AI绘画等技术在创作领域引起了广泛讨论。本文将介绍AIGC的基本概念、技术实现、优势与不足、潜在问题以及未来发展方向，并结合一些比较热
[论文笔记]Active Retrieval Augmented Generation](Active Retrieval Augmented Generation
日积月累，天道酬勤
10-12 1182
⭐ 在RAG长文本的生成过程中，作者提出主动检索增强生成的方法，首先开始回复问题，如果LLM对于生成的句子不太确信，则使用它作为查询检索相关文档，然后根据检索到的文档重新生成下一句话，直到生成结束。
【论文笔记】Active Retrieval Augmented Generation
jinniulema的博客
03-10 2740
传统方法采用retrieve-and-generate 的范式进行检索增强，这种方式一般仅检索一次。本文提出了一种名为的主动检索的方法，可以在生成过程中主动决定何时检索以及检索的内容。具体来说，它迭代式地对 待生成的句子进行预测，如果预测的句子中含有低置信度的token，就使用预测的结果作为query检索相关文档，然后重新生成句子。
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-08 2211
​ LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 目录 《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 Abstract 1 Introduction引言 2
AIGC (AI-Generated Content) 详解
weixin_61387700的博客
11-19 1809
AIGC（AI-Generated Content）是指利用人工智能技术自动生成内容的过程。这些内容可以是文本、图像、音频、视频等多种形式。AIGC 的核心在于通过算法和模型，将输入的数据转换成具有创造性的输出，从而实现内容的自动化生成。AIGC 是一个充满潜力的领域，通过结合多种先进的 AI 技术，可以自动生成高质量的内容，为各行各业带来巨大的价值。从文本创作到图像生成，从音频制作到视频编辑，AIGC 的应用范围广泛，前景广阔。
SEER: Self-Aligned Evidence Extraction for Retrieval-AugmentedGeneration
最新发布
qq_38423732的博客
04-12 1028
如何从检索到的段落中提取证据，以降低计算成本并提升最终的RAG性能，然而这一问题仍然具有挑战性。现有方法 严重依赖于基于启发式的增强，面临以下几个问题：（1）由于手工制作的上下文过滤，导致泛化能力差；（2）由于基于规则的上下文分块，导致语义不足；（3）由于句子级别的过滤学习，导致长度偏差。不完美的检索器，会检索到无关的段落，误导LLM。
论文翻译 | Active Retrieval Augmented Generation 主动检索增强生成
m0_49651195的博客
06-24 1376
尽管大型语言模型(LMs)在理解和生成语言方面具有非凡的能力，但它们往往会产生幻觉，并产生与事实不准确的输出。通过从外部知识资源中检索信息来扩展LMs是一个很有前途的解决方案。大多数现有的检索增强LMs采用检索-生成设置，仅根据输入检索一次信息。然而，在涉及生成长文本的更一般的场景中，这是有限的，在生成过程中不断收集信息是必不可少的。在这项工作中，我们提供了主动检索增强生成的广义视图，这些方法在生成过程中主动决定何时检索和检索什么。
RAG (Retrieval-Augmented Generation) 与 iRAG (image based Retrieval-Augmented Generation)
程永强
11-16 1844
RAG (Retrieval-Augmented Generation) 与 iRAG (image based Retrieval-Augmented Generation)
LightRAG: Simple and Fast Retrieval-Augmented Generation代码
03-29
### 关于 LightRAG 的代码实现 LightRAG 是一种将图结构引入文本索引的方法，旨在通过构建图结构捕捉实体间的复杂关系。这种方法允许系统更高效地处理复杂的多跳查询，特别是在涉及多个文档段落的情况下[^1]。 尽管目前没有直接提及具体的 LightRAG 实现细节或官方代码库的信息，但从其描述来看，可以推测其实现有赖于以下几个关键技术点： #### 1. 图结构的构建 为了支持高效的多跳查询，LightRAG 需要先构建一个基于实体和关系的图结构。这种图可以通过以下方式实现： - 使用 Python 中的 `networkx` 库来创建和操作图数据结构。 - 将实体作为节点，关系作为边存储在图中。 以下是简单的图构建示例代码： ```python import networkx as nx # 创建有向图 G = nx.DiGraph() # 添加节点（实体） G.add_node("Entity_A", type="Person") G.add_node("Entity_B", type="Location") # 添加边（关系） G.add_edge("Entity_A", "Entity_B", relation="visited") # 输出图信息 print(G.nodes(data=True)) print(G.edges(data=True)) ``` #### 2. 文本索引与检索 LightRAG 结合了双层次检索模式，这意味着它可能依赖某种形式的倒排索引来加速文本匹配过程。具体来说，可以利用 Elasticsearch 或 FAISS 来完成这一部分功能。 FAISS 示例代码如下： ```python import faiss import numpy as np # 构建索引 dimension = 128 # 嵌入维度 index = faiss.IndexFlatL2(dimension) # 插入嵌入向量 vectors = np.random.rand(100, dimension).astype('float32') index.add(vectors) # 查询最近邻 query_vector = np.random.rand(1, dimension).astype('float32') distances, indices = index.search(query_vector, k=5) print(indices) ``` #### 3. 多跳推理机制 对于多跳查询的支持，通常需要设计递归式的查询逻辑或者借助 Transformer 编码器解码器架构进行上下文理解。这部分可以从 RAG (Retrieval-Augmented Generation) 系统的设计思路出发[^2]。 假设我们已经有了预训练的语言模型，则可以在 PyTorch 上搭建基础框架： ```python from transformers import AutoTokenizer, AutoModelForSeq2SeqLM tokenizer = AutoTokenizer.from_pretrained("facebook/rag-token-base") model = AutoModelForSeq2SeqLM.from_pretrained("facebook/rag-token-base") def generate_response(contexts, question): inputs = tokenizer([question], return_tensors="pt") with tokenizer.as_target_tokenizer(): targets = tokenizer([""], return_tensors="pt")["input_ids"] outputs = model.generate( context_input_ids=contexts, **inputs ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response contexts = ... # 提供从数据库检索到的相关段落 question = "What is the capital of France?" response = generate_response(contexts, question) print(response) ``` 虽然上述代码片段并未完全针对 LightRAG 进行定制化开发，但它展示了如何结合外部知识源增强生成能力的核心理念。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值