【AI论文】UniversalRAG：基于多种模态和粒度的多语料库的检索增强生成

摘要：检索增强生成（RAG）通过将模型响应与与查询相关的外部知识相结合，在提高事实准确性方面显示出巨大的前景。 然而，大多数现有的RAG方法仅限于纯文本语料库，虽然最近的研究已将RAG扩展到图像和视频等其他形式，但它们通常在单一特定形式的语料库上运行。 相比之下，现实世界的查询在所需知识的类型上差异很大，单一类型的知识源无法解决。 为了解决这个问题，我们引入了UniversalRAG，这是一种新颖的RAG框架，旨在从具有不同形式和粒度的异构源中检索和整合知识。 具体而言，在观察到将所有模态强制纳入从单个组合语料库导出的统一表示空间会导致模态差距（其中检索倾向于支持与查询来自相同模态的项目）的动机下，我们提出了一种模态感知路由机制，该机制动态识别最合适的模态特定语料库，并在其中进行有针对性的检索。此外，除了模态之外，我们将每种模态组织到多个粒度级别，从而能够根据查询的复杂性和范围进行微调检索。 我们在跨越多种模态的8个基准上验证了UniversalRAG，显示了它优于特定模态和统一基线。Huggingface链接：Paper page，论文链接：2504.20734

研究背景和目的

研究背景

近年来，大型语言模型（LLMs）在诸如问答（QA）等任务中展现了卓越的性能，并被广泛应用于ChatGPT等服务中，极大地丰富了用户的日常生活。然而，LLMs在生成信息时，尤其是关于训练数据中较少或未涉及的主题（如近期事件），常常会产生事实错误或误导性信息。为了解决这一问题，检索增强生成（Retrieval-Augmented Generation, RAG）应运而生。RAG通过从外部知识源中检索与查询相关的知识，并将其融入模型响应中，从而提高了事实准确性。

尽管RAG在提升事实准确性方面表现出色，但现有的RAG方法大多局限于单一语料库和模态。例如，大多数RAG系统仅处理文本数据，尽管最近的研究已经将其扩展到图像和视频等其他模态，但这些系统通常仍在一个特定模态的语料库上运行。然而，现实世界的查询在所需知识的类型上差异很大，单一类型的知识源无法充分满足这些多样化的需求。

研究目的

为了应对上述挑战，本研究引入了UniversalRAG，这是一个新颖的RAG框架，旨在从具有不同模态和粒度的异构源中检索和整合知识。UniversalRAG的主要目标包括：

1. 多模态知识检索：通过设计一种模态感知路由机制，UniversalRAG能够动态识别最合适的模态特定语料库，并在其中进行有针对性的检索。这种方法避免了将所有模态强制纳入统一表示空间所导致的模态差距问题。

2. 多粒度知识整合：除了模态之外，UniversalRAG还将每种模态组织到多个粒度级别，从而能够根据查询的复杂性和范围进行微调检索。这种设计使得系统能够更灵活地适应不同查询的需求，提供更加精确和全面的答案。

3. 性能验证：通过在跨越多种模态的8个基准数据集上验证UniversalRAG的性能，本研究旨在展示其相对于特定模态和统一基线方法的优越性。

研究方法

1. 模态感知路由机制

UniversalRAG的核心在于其模态感知路由机制。传统的RAG方法通常将所有模态的数据嵌入到一个统一的表示空间中，但这种方法往往导致模态差距，即检索结果倾向于支持与查询来自相同模态的项目。为了解决这一问题，UniversalRAG维护了每个模态的独立嵌入空间，并引入了一个路由模块（Router），该模块能够根据查询的模态需求动态选择最合适的模态特定语料库进行检索。

2. 多粒度语料库构建

除了模态之外，UniversalRAG还考虑了数据的粒度（即语料库中每个条目的大小或单位）。不同的查询可能受益于不同粒度的数据，即使在同一模态内也是如此。例如，复杂的分析性问题可能需要长文档或完整视频来捕捉足够的上下文，而简单的事实性问题可能只需要一个段落或短视频剪辑。因此，UniversalRAG将每种模态组织到多个粒度级别，包括段落级、文档级、图像级、剪辑级和视频级语料库。

3. 路由模块实现

UniversalRAG的路由模块可以通过两种方式实现：无训练路由和训练路由。

• 无训练路由：利用预训练的大型语言模型（如GPT-4o）的内在知识和推理能力，通过提供详细的指令和上下文示例，对查询进行分类并选择最合适的检索类型。这种方法不需要额外的训练，但可能受限于预训练模型的固有偏见和知识边界。

• 训练路由：通过构造训练数据集对路由模块进行训练，以使其能够更准确地预测给定查询的最优检索类型。训练数据集的构造基于现有基准数据的模态特定归纳偏差，即假设每个基准主要与特定模态和检索粒度相关联。通过训练，路由模块能够更好地适应特定任务和数据集的需求。

4. 实验设置

为了评估UniversalRAG的性能，本研究在多个基准数据集上进行了实验。这些数据集涵盖了不同的模态（文本、图像、视频）和检索设置（无检索、段落级、文档级、图像级、剪辑级、视频级）。实验中使用了多种大型视觉语言模型（LVLMs）作为生成器，包括InternVL2.5-8B、Qwen2.5-VL-7B-Instruct和Phi-3.5-Vision-Instruct等。同时，还实现了多个基线方法进行比较，包括无检索、段落级、文档级、图像级、剪辑级、视频级检索以及统一检索方法。

研究结果

1. 整体性能

实验结果表明，UniversalRAG在所有基准数据集上的平均得分均优于所有基线方法。这表明通过利用多种模态和粒度的知识，UniversalRAG能够更准确地检索和生成与查询相关的信息。特别是在需要多模态知识的查询上，UniversalRAG的表现尤为突出。

2. 路由模块性能

在路由模块的性能方面，训练路由模型在所有实验中均优于无训练路由模型。这是因为训练路由模型在训练过程中被明确优化以执行路由任务，从而能够做出更准确的路由决策。然而，无训练路由模型仍然优于其他基线方法（包括随机路由），这表明在UniversalRAG框架内，零样本路由仍然有效。

3. 多粒度检索的有效性

通过进一步分析多粒度检索的有效性，本研究发现支持不同粒度的文本和视频语料库能够显著提高UniversalRAG的性能。通过根据查询的复杂性和范围选择合适的粒度级别，系统能够检索到更合适数量的信息，从而生成更准确的答案。相比之下，没有粒度控制的模型对所有查询应用相同的粒度级别，这可能导致信息检索不足或过多。

4. 跨领域性能

为了评估UniversalRAG的泛化能力，本研究还在五个未见过的数据集上进行了实验。结果表明，GPT-4o作为无训练路由模型在跨领域数据集上实现了最高的路由准确性和平均问答得分。这表明GPT-4o具有强大的泛化能力。然而，训练路由模型在跨领域数据上的表现较差，这主要是由于训练数据中查询的多样性不足导致的过拟合问题。为了解决这一问题，本研究引入了集成路由方法，结合了训练路由和无训练路由的优势，从而在跨领域数据集上实现了更好的性能。

研究局限

尽管UniversalRAG在多个方面展现了显著的优势，但本研究仍存在一些局限性：

1. 训练数据多样性：训练路由模型的性能在很大程度上依赖于训练数据的多样性。如果训练数据中的查询类型不够丰富，模型可能会在未见过的查询上表现不佳。未来的研究可以考虑使用更多样化的数据集来训练路由模块，以提高其泛化能力。

2. 计算成本：UniversalRAG需要维护多个模态和粒度的语料库，并在检索过程中动态选择最合适的语料库。这可能会增加系统的计算成本和存储需求。未来的研究可以探索更高效的检索算法和数据结构，以降低计算成本并提高系统的可扩展性。

3. 模态融合：尽管UniversalRAG能够动态选择最合适的模态进行检索，但在生成最终响应时，如何有效地融合来自不同模态的信息仍然是一个挑战。未来的研究可以探索更先进的模态融合技术，以提高生成响应的质量和准确性。

未来研究方向

基于本研究的结果和局限性，未来的研究可以从以下几个方面展开：

1. 增强训练数据多样性：通过收集更多样化的查询数据来训练路由模块，以提高其在未见过的查询上的泛化能力。这可以包括从不同领域和来源收集数据，以及使用数据增强技术来扩展现有数据集。

2. 优化检索算法：探索更高效的检索算法和数据结构，以降低UniversalRAG的计算成本并提高其可扩展性。这可以包括使用近似最近邻搜索、哈希技术或索引优化等方法来加速检索过程。

3. 改进模态融合技术：研究更先进的模态融合方法，以更有效地整合来自不同模态的信息。这可以包括使用注意力机制、图神经网络或Transformer模型等技术来捕捉模态之间的交互和依赖关系。

4. 扩展应用场景：将UniversalRAG应用于更多实际场景中，如智能客服、教育辅导、医疗咨询等。通过在实际应用中验证其性能，可以进一步发现其潜在的优势和局限性，并为未来的研究提供更有针对性的方向。

5. 结合用户反馈：探索如何结合用户反馈来优化UniversalRAG的性能。通过收集用户对生成响应的满意度、准确性和相关性等方面的反馈，可以不断调整和改进系统的路由机制和检索策略，以更好地满足用户的需求。

综上所述，本研究提出的UniversalRAG框架在多模态和粒度检索增强生成方面展现了显著的优势。通过动态选择最合适的模态和粒度进行检索，并整合来自不同模态的信息，UniversalRAG能够更准确地回答多样化的查询。未来的研究可以进一步探索如何增强训练数据多样性、优化检索算法、改进模态融合技术、扩展应用场景以及结合用户反馈来优化UniversalRAG的性能。