主题
知识斗地主:解析RAG大模型中复杂的知识冲突
时间
2024.7.20 周六 下午16:00-17:10
进群
论文:Knowledge Conflicts for LLMs: A Survey
地址:https://arxiv.org/pdf/2403.08319
github:https://github.com/pillowsofwind/Knowledge-Conflicts-Survey
内容(约1小时10分钟)
一. 背景
1. 知识冲突的定义,研究历史,为什么在 RAG 大模型时代受到了更大的关注
二. 三种知识冲突
1. 上下文和参数化知识冲突:产生,分析,缓解方式和 remark
a. 上下文和参数化知识冲突是对于 RAG 模型来说面临最主要的一种冲突,也是目前研究界最关注的一种冲突。
b. 面对复杂的知识冲突,模型会更加相信上下文中的知识,还是参数化记忆中的知识?模型对于知识的选择是否与实际的场景有关系呢?
c. “正确”而非“先验”的缓解措施,应当是什么?是否存在一个明确的缓解措施呢?
2. 上下文之间的知识冲突:产生,分析,缓解方式和 remark
a. RAG 检索到的文档之间的冲突,应该如何处理。
b. 面对相互冲突的文档,具有什么特征的文档可以更加赢得模型的倾向?这一倾向性体现出模型自身的什么特征?
3. 参数化知识内部的知识冲突:产生,分析,缓解方式和 remark
a. 如果我们不局限于 RAG 模型,而考虑大模型本身掌握的知识就是存在冲突的呢?这种冲突又是如何影响它们的表现。
b. 从成因角度来说,参数化知识内部的冲突可能是模型自己学到的数据就有冲突。这与幻觉的联系是什么?
c. 从行为角度来说,参数化知识内部的冲突的体现是自我矛盾的行为,我们该如何解决?
三. 现有研究的不足和未来方向
1. 知识冲突方面还可以做哪些研究:
a. 知识冲突测评的真实性和粒度
b. 知识冲突的缓解方式
c. 多语言的知识冲突
d. 多模态的(知识)冲突
e. 探讨知识冲突对下游任务的影响
f. 从可解释性为切入点,重新审视知识冲突,
2. survey 中没纳入的最新 paper。例如:真实RAG 场景下的知识冲突,可解释性与知识冲突相结合的工作等等
四. 延伸讨论
1. 知识冲突和大模型幻觉的联系
2. 知识捷径和幻觉、冲突等问题的联系
3. 关于 RAG 的讨论:面对知识冲突,如何进行 RAG
4. 如何消除预训练数据中的知识冲突,从数据角度解读知识冲突带来的影响
引言
检索增强生成(Retrieval-Augmented Generation, RAG)已成为大型语言模型生成文本的一种主要范式。这种技术的代表——检索增强的大型语言模型(Retrieval-Augmented Large Language Model, RALM)——能够直接利用检索得到的文档信息进行内容生成,无需进行额外的训练,这一优势使其在工业界得到了广泛应用,例如New Bing搜索引擎。
然而,自2023年起,RALM在处理知识冲突方面面临的问题逐渐成为研究的焦点。知识冲突不仅严重影响了模型在知识密集型任务上的性能,也暴露了其在面对错误信息时的脆弱性,进而对模型的安全性构成威胁,尤其是在那些对事实准确性有着严格要求的应用场景中。知识冲突主要表现在模型内部的参数化知识与外部上下文信息之间,以及外部上下文信息内部的不一致性。此外,研究者还观察到模型内部参数化知识之间存在冲突,即出现自相矛盾的现象,这可能源于模型在预训练阶段学习到了相互矛盾的信息。
嘉宾
![15ea0d5ce7496417b5e17cedb4294f03.jpeg](https://img-blog.csdnimg.cn/img_convert/15ea0d5ce7496417b5e17cedb4294f03.jpeg)
许融武,清华大学交叉信息院二年级硕士生。研究方向为自然语言处理和社会计算。最近的主要关注点包括:大模型的评测,大模型与知识,大模型的安全对齐和大模型的可解释性等。以第一/共同第一作者身份,在 ACL等国际会议发表多篇论文。个人主页请见:https://rongwuxu.site
![29e69d88fb9f4c248e846cec81a3c630.jpeg](https://img-blog.csdnimg.cn/img_convert/29e69d88fb9f4c248e846cec81a3c630.jpeg)
祁泽涵,清华大学交叉信息院一年级博士生。研究方向为自然语言处理和大模型智能体。最近的主要关注点包括:大模型评测,大模型推理和大模型智能体等。
进群
如果群满,则加小助手好友,备注nice18
id:DLNLPer,记得备注呦