NICE分享 | 知识斗地主：解析RAG大模型中复杂的知识冲突综述

主题

知识斗地主：解析RAG大模型中复杂的知识冲突

时间

2024.7.20 周六 下午16:00-17:10

进群

论文：Knowledge Conflicts for LLMs: A Survey

地址：https://arxiv.org/pdf/2403.08319

github：https://github.com/pillowsofwind/Knowledge-Conflicts-Survey

内容（约1小时10分钟）

一. 背景

  1. 知识冲突的定义，研究历史，为什么在 RAG 大模型时代受到了更大的关注

二. 三种知识冲突

  1. 上下文和参数化知识冲突：产生，分析，缓解方式和 remark

    a. 上下文和参数化知识冲突是对于 RAG 模型来说面临最主要的一种冲突，也是目前研究界最关注的一种冲突。

    b. 面对复杂的知识冲突，模型会更加相信上下文中的知识，还是参数化记忆中的知识？模型对于知识的选择是否与实际的场景有关系呢？

    c. “正确”而非“先验”的缓解措施，应当是什么？是否存在一个明确的缓解措施呢？

  2. 上下文之间的知识冲突：产生，分析，缓解方式和 remark

    a. RAG 检索到的文档之间的冲突，应该如何处理。

    b. 面对相互冲突的文档，具有什么特征的文档可以更加赢得模型的倾向？这一倾向性体现出模型自身的什么特征？

  3. 参数化知识内部的知识冲突：产生，分析，缓解方式和 remark

    a. 如果我们不局限于 RAG 模型，而考虑大模型本身掌握的知识就是存在冲突的呢？这种冲突又是如何影响它们的表现。

    b. 从成因角度来说，参数化知识内部的冲突可能是模型自己学到的数据就有冲突。这与幻觉的联系是什么？

    c. 从行为角度来说，参数化知识内部的冲突的体现是自我矛盾的行为，我们该如何解决？

三. 现有研究的不足和未来方向

  1. 知识冲突方面还可以做哪些研究：

    a. 知识冲突测评的真实性和粒度

    b. 知识冲突的缓解方式

    c. 多语言的知识冲突

    d. 多模态的（知识）冲突

    e. 探讨知识冲突对下游任务的影响

    f. 从可解释性为切入点，重新审视知识冲突，

  2. survey 中没纳入的最新 paper。例如：真实RAG 场景下的知识冲突，可解释性与知识冲突相结合的工作等等

四. 延伸讨论

  1. 知识冲突和大模型幻觉的联系

  2. 知识捷径和幻觉、冲突等问题的联系

  3. 关于 RAG 的讨论：面对知识冲突，如何进行 RAG

  4. 如何消除预训练数据中的知识冲突，从数据角度解读知识冲突带来的影响

引言

检索增强生成（Retrieval-Augmented Generation, RAG）已成为大型语言模型生成文本的一种主要范式。这种技术的代表——检索增强的大型语言模型（Retrieval-Augmented Large Language Model, RALM）——能够直接利用检索得到的文档信息进行内容生成，无需进行额外的训练，这一优势使其在工业界得到了广泛应用，例如New Bing搜索引擎。

然而，自2023年起，RALM在处理知识冲突方面面临的问题逐渐成为研究的焦点。知识冲突不仅严重影响了模型在知识密集型任务上的性能，也暴露了其在面对错误信息时的脆弱性，进而对模型的安全性构成威胁，尤其是在那些对事实准确性有着严格要求的应用场景中。知识冲突主要表现在模型内部的参数化知识与外部上下文信息之间，以及外部上下文信息内部的不一致性。此外，研究者还观察到模型内部参数化知识之间存在冲突，即出现自相矛盾的现象，这可能源于模型在预训练阶段学习到了相互矛盾的信息。

嘉宾

许融武，清华大学交叉信息院二年级硕士生。研究方向为自然语言处理和社会计算。最近的主要关注点包括：大模型的评测，大模型与知识，大模型的安全对齐和大模型的可解释性等。以第一/共同第一作者身份，在 ACL等国际会议发表多篇论文。个人主页请见：https://rongwuxu.site

祁泽涵，清华大学交叉信息院一年级博士生。研究方向为自然语言处理和大模型智能体。最近的主要关注点包括：大模型评测，大模型推理和大模型智能体等。

进群

---

如果群满，则加小助手好友，备注nice18

id：DLNLPer，记得备注呦