中科院：文档动态参数化RAG框架

📖标题：Better wit than wealth: Dynamic Parametric Retrieval Augmented Generation for Test-time Knowledge Enhancement
🌐来源：arXiv, 2503.23895

🌟摘要

🔸检索增强生成（RAG）通过从外部源检索相关文档并将其合并到上下文中来增强大型语言模型（LLM）。虽然它通过提供事实文本来提高可靠性，但随着上下文长度的增长，它显著增加了推理成本，并引入了RAG幻觉的挑战性问题，这主要是由于LLM中缺乏相应的参数知识造成的。
🔸一个有效的解决方案是在测试时增强LLM的知识。参数RAG（PRAG）通过将文档嵌入LLM参数中来执行测试时知识增强，从而通过离线训练有效地降低推理成本，从而解决了这一问题。然而，其高昂的训练和存储成本，以及有限的泛化能力，严重限制了其实际应用。
🔸为了应对这些挑战，我们提出了动态参数RAG（DyPRAG），这是一种利用轻量级参数转换器模型将文档高效转换为参数知识的新框架。DyPRAG不仅可以降低推理、训练和存储成本，还可以动态生成参数知识，无缝增强LLM的知识，并在测试时以即插即用的方式解决知识冲突。
🔸在多个数据集上进行的广泛实验证明了DyPRAG的有效性和泛化能力，提供了一种强大而实用的RAG范式，可以实现卓越的知识融合，并减轻现实世界应用中的RAG幻觉。项目在https://github.com/Trae1ounG/DyPRAG

🛎️文章简介

🔸研究问题：如何在测试阶段高效地增强大语言模型（LLM）的知识而不增加过多计算和存储成本？
🔸主要贡献：论文提出了一种轻量级框架Dynamic Parametric RAG（DyPRAG），有效地将文档转换为参数，以实现知识的动态增强，同时降低推理成本。

📝重点思路

🔸论文首先介绍了Parametric RAG（PRAG）的方法，通过将外部知识直接集成到LLM的参数中来减少长上下文的计算成本。
🔸DyPRAG采用了文档增强的技术，将每个文档转化为多个变体，并生成问答对，以帮助模型记忆和操作文档中的信息。
🔸通过引入参数翻译器，DyPRAG能够在推理阶段高效地执行参数注入，显著降低推理成本。
🔸DyPRAG-Combine方法结合了测试时间生成的参数知识和上下文知识，提供了更好的知识融合能力。

🔎分析总结

🔸DyPRAG在不同规模的LLM上有效增强了测试时间的参数知识，实验结果表明其在多种场景下的性能优于标准RAG。
🔸DyPRAG-Combine通过在内部知识注入上下文相关参数，显著缓解了RAG模型的幻觉问题，提高了模型的泛化能力。
🔸实验结果显示，DyPRAG在知识内化方面表现优异，能够有效处理未见过的知识，提升模型的回答准确性。
🔸DyPRAG在存储和计算成本上也表现出明显优势，尤其在处理需要频繁更新知识的任务中显示了良好的扩展性。

💡个人观点

论文优化了PRAG框架，训练阶段做了文档增强和参数翻译，推理阶段优化参数载入。

🧩附录