北大：基于LLM的图灵完备RAG系统

📖标题：TC–RAG: Turing–Complete RAG’s Case study on Medical LLM Systems
🌐来源：arXiv, 2408.09199

摘要

本文旨在提高特定领域的大型语言模型（LLMs）效果，检索增强生成（RAG）是一种有前途的解决方案，可以缓解高度专业化查询中出现的幻觉、过时知识和有限专业知识等问题。然而，现有的RAG方法存在缺陷，忽略了系统状态变量，这些变量对于确保自适应控制、检索停止和系统收敛至关重要。本文通过严密证明引入了TC-RAG框架，这是一个新颖的框架，通过整合图灵完备系统来管理状态变量，从而实现更高效、准确的知识检索。通过利用具有自适应检索、推理和规划能力的内存堆栈系统，TC-RAG不仅确保了检索过程的受控停止，而且通过推入和弹出操作减少了错误知识的积累。在医疗领域的案例研究中，我们对真实世界的医疗数据集进行了广泛的实验，结果表明TC-RAG的准确性比现有方法提高了7.20%以上。我们的数据集和代码已经在https://https://github.com/Artessay/SAMA.git上提供。

🛎️文章简介

🔸研究问题：在医疗领域中，如何构建一个完备的检索增强生成（RAG）系统，以确保最终结论的可靠性和准确性。
🔸主要贡献：论文提出了图灵完备的RAG框架TC-RAG，引入了系统状态变量和图灵完备机制，建立了栈式记忆系统，并证明了其理论上的图灵完备性。

📝重点思路

🔺相关工作

🔸RAG：通过即时工程集成来自外部知识库的相关信息，不仅可以缓解LLM推理过程中的幻觉问题，还可以提供最新的特定于任务的知识，显着提高下游任务的可解释性和性能。
🔸RAG路线：传统RAG遵循简单的检索和读取方法，高级的RAG还有检索器、重新排序器、过滤器和阅读器组件，但这些思路都存在检索冗余信息。
🔸RAG适应：使LLM能够确定是否以及何时检索，并从庞大的知识库中选择最合适的检索工具，但缺乏动态管理和监控检索过程以保证收敛到可靠结论。
🔸推理规划：通过CoT、ReAct和Reflexion等来增强LLM的推理和规划能力，但它们在管理以前的记忆方面经常存在不足，特别是在删除无效决策或重新完善历史记录方面。

🔺论文方案

🔸设计了一个图灵完备的RAG系统TC-RAG，该系统包含一个记忆栈，用于监控中间状态，确保检索过程可靠地收敛到最优结论。
🔸收集了大量医疗数据并预训练了一个医疗领域的LLM，提升了其从普通水平到专家水平的理解和推理能力。
🔸引入了记忆栈系统，通过入栈和出栈两个元动作的组合，比如总结（先出栈再入栈）、反思（出栈）、工具观察（入栈）等，能够及时移除错误信息和冗余知识，减少错误信息的累积和噪声的影响。

🔎分析总结

🔸TC-RAG在所有数据集上均显著优于基线模型，如EM和BLEU-4等均有提升，平均性能提升高达7.20%。
🔸领域特定的LLM在支持TC-RAG方面显著优于通用LLM，进一步证明了预训练医疗LLM的重要性。
🔸系统状态和内存管理以及自适应检索方面的有效性，能够于防止过度自信和确保适当终止。

💡个人观点

论文的创新点在于引入监控状态变量和栈式记忆系统，实现了动态和自适应的检索过程。

附录