LLM 研究方向(三): LLM Hallucinations--RAG

目录

1. LLM Hallucinations 幻觉

1.1 Hallucinaiton types 类型

1.2 Hallucination reasons 原因

1.3 Hallucination affects

1.4 Hallucination solutions

1.4.1 引入验证机制

1.4.2 提高训练数据质量

1.4.3 加强监督学习

1.4.4 使用组合模型

1.4.5 **模型结构改进

1.4.6 **后处理与编辑

1.4.7 透明性和可解释性

2. RAG Model

2.1 2024, GNN-GAG

2.1.1 paper core

2.1.2 paper problems

2.1.3 solution: GNN-RAG Algorithm

---

1. LLM Hallucinations 幻觉

概念：LLM hallucinations 幻觉指的是LLM生成的内容中包含虚构、不准确或误导的信息。这些幻觉内容看起来像是真实和连贯的，但实际上是错误的或没有依据的。

1.1 Hallucinaiton types 类型

• 事实性错误：LM生成的内容包含不正确的事实。例如，将某个事件的日期或地点描述错误。
• 虚构内容：model生成的信息完全是凭空捏造的，而没有任何真实的依据。例如，创建不存在的人物或事件。
• 逻辑错误：model生成的内容在逻辑上不一致或自相矛盾。例如，前后内容相互冲突。

1.2 Hallucination reasons 原因

• 训练数据不足。LM依赖大量的文本数据进行训练。如果training data包含错误信息或不一致的信息，model可能学到这些错误。
• 概率预测的本质。LM基于统计方法预测下一个词或短语，生成的内容是概率最高的结果，而不是一定真实的内容。
• 缺乏世界知识。尽管LLM可以处理和生成自然语言，它们缺乏真正的理解和推理能力，无法像人类一样进行复杂的知识检索和验证。
• 过度拟合。在特定的上下文中，model可能会过度拟合training data，生成与输入不相关或过于具体的内容。

1.3 Hallucination affects

误导用户；降低信任度；实际应用局限。

1.4 Hallucination solutions

解决LLM幻觉问题需要综合使用多种方法：提升数据质量、引入验证机制、加强监督学习、使用组合模型、后处理检查。通过这些方法，可以有效减少幻觉，提高生成内容的准确性和可靠性

1.4.1 引入验证机制

• 基于检索的验证。例如，结合检索增强生成(RAG)方法，将检索到的真实信息与生成的内容结合起来。
• 事实核查工具。使用专门的事实核查算法和工具，自动检测生成的内容的准确性。

1.4.2 提高训练数据质量

• 数据清理与筛选。清理和筛选training data，去除不准确或误导的信息；使用高质量的数据源，确保training data的真实性和一致性。
• 增强数据集。使用经过验证的高质量数据集进行training，特别是在特定领域(如医学、法律)中，使用领域专家提供的准确数据。

1.4.3 加强监督学习

• 人工标注与反馈。使用人工标注的高质量数据进行监督学习，引导模型生成更准确的内容。实施用户反馈机制，收集用户对生成内容的反馈，并使用这些反馈改进模型。
• 多任务学习。将事实核查任务与生成任务结合起来，training model不仅生成内容，还能进行自我检查和验证。

1.4.4 使用组合模型

• RAG方法(检索增强生成)。结合检索模型和生成模型，从外部知识库中检索出相关信息，并利用这些信息生成更准确的内容。
• 模型集成。使用多个模型的组合，通过投票或加权平均的方法生成最终答案，减少单一模型幻觉的影响。

1.4.5 **模型结构改进

• 加强知识图谱的使用。在模型中引入和利用知识图谱，确保生成内容的逻辑一致性和事实准确性。
• 模型内在机制改进。研发新的模型结构，使model在生成内容时能够更好地理解和使用上下文信息，从而减少幻觉。

1.4.6 **后处理与编辑

• 后处理检查。在生成内容后，使用规则rule或其他模型对模型进行验证和编辑。
• 人工检查。在关键应用场景中，加入人工审查环节，对生成内容进行最终审核。

1.4.7 透明性和可解释性

• 生成过程透明化。使用户能够理解模型生成内容地依据和过程，从而更好地识别潜在地幻觉。
• 提供参考来源。使用户能够验证信息地真实性。

2. RAG Model

RAG (Retrieval-Augmented Generation，检索增强生成，根据prompt咨询GPT LLM生成一个有帮助的helpful 辅助 answer)，是一种结合了信息检索 retrieval和生成技术generation的nlp方法。

• 信息检索retireval：用于输入一个查询query，使用retrieval model (different GNN matching model匹配模型计算query和answer candidate similairty + RAG=通过prompt咨询LLM GPT得到一个helpful answer，即输入一个prompt query to GPT得到的有用信息作为答案辅助)从知识库中检索出与query相关的文档或answer candidates。常用检索方法包括：VSM、TF-IDF、BM25、基于深度学习的检索模型(e.g. 双塔模型)。
• 生成 answer：将检索到的answer candidates与input query verbalized 言语化 path 输入生成模型(e.g. Transformer架构的GPT等)，生成最终的答案。系统输出生成的answer，作为用户查询的回应。

2.1 2024, GNN-GAG

2024, GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning.

2.1.1 paper core

Combining language understanding abilities of LLMs with reasoning abilities of GNNs in a retrieval-augmented generation (RAG) style. -> GNN act as a dense subgraph reasoner to extract useful graph information, while the LLM leverages its nlp ability for ultimate KGQA.

2.1.2 paper problems

1. Pretraining models cannot easily adapt to new domain and are prone to hallucinations.

2. LLM-based retrieval underperforms on multi-hop KGQA  -> GNNs to handle complex graph interactions and answer multi-hop questions.

3. Very large internal knowledge to compensate for missing information.

2.1.3 solution: GNN-RAG Algorithm

1. GNN acts as a dense subgraph reasoner answer + complemented answer from RAG -> to retrieve answer candidates. A cheaper alternative is to perform RA by combining the outputs of different GNNS, which are equiped with different LMs prompt answer.

2. KG shortest paths: connecting question entities and GNN-based answer candidates，即question实体和答案实体之间可能的shortest paths.

3. The retrieved reasoning paths, verbalizing 言语化 question and answer candidates,  are used as input for LLM.

4. Output answer.