时间感知自适应RAG（TA-ARE）

原文地址：Time-Aware Adaptive RAG (TA-ARE)

Time-Aware Adaptive Retrieval (TA-ARE)

2024 年 3 月 1 日

介绍

随着大型语言模型（LLM）的出现，出现了新兴能力的概念。前提或假设是LLMs具有隐藏的和未知的能力，等待被发现。企业家们渴望在LLMs中发现一些无人知晓的竞争优势。

事实证明，新兴能力只是海市蜃楼。但LLMs的特殊能力被发现是情境学习（ICL）。当在推理时提供上下文数据时，LLMs有能力在生成响应时引用上下文数据。因此，根据提示的指示，LLMs将丢弃模型训练数据，并利用推理数据。

时间感知自适应检索 (TA-ARE) 是一种简单而有效的方法，可帮助LLMs评估检索的必要性，而无需校准或额外培训。

RAG

在推理时向LLMs提供上下文数据被称为 RAG。LLM 响应生成通过推理时检索到的补充数据进行补充或增强的概念。

无论输入问题如何，标准 RAG 始终进行检索，而自适应检索仅在必要时进行检索。

TA-ARE

研究结果

研究提到，RAG 总体上提高了问答的性能。这已经被一再证实，现在被视为理所当然。

时间意识，该研究发现许多查询与时间相关，用户提出问题时会指定时间范围作为定义问题的函数。

普通提示的有效性各不相同，并且不随模型大小而变化。考虑下图，为了使提示能够很好地扩展，需要引入复杂性；从步骤 1 到步骤 8。

尽管LLMs可以被描述为知识密集型，但LLMs确实很难应对知识密集型用户任务，有两个原因：

1. LLMs通常缺乏也不掌握什么可以称为新世界知识。
2. 长尾知识更难解决；这个问题类似于意图分布的长尾问题。

• 长尾知识是指在某个领域或数据集中出现频率较低的信息或知识点。这些知识点可能非常专业、罕见或者在日常生活中不经常被提及。它们通常不像那些常见或热门的知识点那样易于被记住或检索到。
• 长尾记忆是指在信息或数据集中，那些不经常出现但对某些应用或领域非常重要的信息片段。在大型语言模型和其他人工智能系统中，长尾记忆指的是模型对于这些不常见的信息的记忆能力。

TA-ARE

标准 RAG 方法不加区别地进行检索，并且不对输入查询执行分类。这种一揽子方法可能会导致任务绩效不佳。这也会加剧推理成本。

自适应 RAG的概念动态地确定检索的必要性，并且在认为不必要时仅依赖于LLMs的参数知识

ARAG方法可以分为基于校准的判断和基于模型的判断。问题在于需要调整不同数据集和模型的阈值，以平衡任务性能和推理开销。

TA-ARE 研究LLMs可以在多大程度上通过提示执行免校准自适应检索。

为了回答这个问题，需要评估LLMs是否只在必要时检索。

这就需要一个基准来区分可以使用LLMs参数知识回答的问题和需要通过检索获得外部信息的问题。

研究贡献

创建一个新的数据集RetrievalQA来评估用于短格式开放域 QA 的自适应 RAG (ARAG)。

对现有方法进行基准测试发现，普通提示不足以指导LLMs做出可靠的检索决策。

TA-ARE 是一种概念化的简单而有效的方法，可以帮助LLMs评估检索的必要性，而无需校准或额外培训。

结论

显而易见的是，为了框架的扩展，需要引入复杂性。

在分配进程之前对用户输入进行分类的自适应 RAG 需要对各种阈值进行校准。

时间感知自适应检索 (TA-ARE) 的承诺是，它是一种简单而有效的方法，可以帮助LLMs评估检索的必要性，而无需校准或额外培训。

RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering