平安：LLM结合知识图谱和网页检索的RAG方案

📖标题：WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs
🌐来源：arXiv, 2408.07611

摘要

大型语言模型（LLMs）在发展自适应智能代理方面做出了巨大贡献，并被视为实现人工通用智能（AGI）的重要途径。然而，LLMs容易产生事实上不正确的信息，并经常产生“幻觉”内容，这削弱了它们的可靠性，这对它们在现实场景中的部署构成了严峻挑战。通过将外部数据库和信息检索机制相结合，增强LLMs是一条有效的途径。为了解决上述挑战，我们提出了一种新的方法，称为WeKnow-RAG，它将Web搜索和知识图谱集成到“检索增强生成（RAG）”系统中。首先，通过将知识图谱的结构化表示与密集向量检索的灵活性相结合，提高LLM响应的准确性和可靠性。然后，WeKnow-RAG利用特定领域的知识图谱来满足各种查询和领域，通过使用稀疏和密集检索方法进行多阶段网页检索技术，从而提高对事实信息和复杂推理任务的性能。我们的方法有效平衡了信息检索的效率和准确性，从而提高了整个检索过程的效率。最后，我们还集成了一种自我评估机制，用于评估LLM生成的答案的可信度。我们的方法在广泛的离线实验和在线提交中证明了其卓越的有效性。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在生成内容时容易产生事实错误（幻觉）。
🔸主要贡献：论文提出了一种结合网络搜索和知识图谱的检索增强生成（RAG）系统，名为WeKnow-RAG，以提高LLM响应的准确性和可靠性。

📝重点思路

🔺相关工作

🔸为了提高LLM在问答任务中的准确性和可靠性，根据LLM的参数是否需要修改有以下两种不同技术路线。
🔸微调和校准（需要修改参数）：对特定领域或任务的LLM进行微调，可以提高其准确性并减少幻觉反应。此外，校准模型以提供不确定性估计和响应可以帮助用户 评估生成信息的可靠性。
🔸外部知识整合（不需要修改参数）：将外部知识源整合到LLM中，可以帮助增强其理解力并减少幻觉反应，这些来源可以是网页、数据库、 图谱、额外的LLM等。

🔺应用场景

🔸给定问题，要求LLM从外部来源检索的信息或直接从模型内化的知识来生成答案，理想情况下答案要包含有用信息并没有幻觉。
🔸外部来源包括包括候选网页以及知识图谱，并不保证存在答案信息。
🔸评估领域涵盖金融、体育、音乐、电影和开放，问题类型包括简单和比较、聚合、集合等七种复杂问题。

🔺论文方案

🔸WeKnow-RAG包括知识图谱工作流和网络搜索工作流，以解决端到端检索增强生成挑战。
🔸网页检索：包括网页内容解析、文档分块、多级检索和自我评估步骤。
🔸图谱检索：包括领域分类、查询生成、答案检索和后处理步骤。
🔸方案融合：提出了一个自适应框架，智能地结合基于知识图谱和基于网络的RAG方法，根据不同领域的信息变化率进行调整。

🔎分析总结

🔸论文方法在准确性和减少幻觉方面取得了显著的改进。
🔸图谱检索通过函数调用，从知识中提取特定信息，以最小的错误提供准确的答案。
🔸网页检索能获得更多相关信息，通过自我评估方法减少幻觉。

💡个人观点

论文的的核心是结合知识图谱和网络搜索，以提高LLM在动态信息环境中的准确性和可靠性。

附录