RAG(检索增强生成)通过检索系统找到用户问题相关的信息片段,利用大模型综合生成一个答案,极大解决了大模型幻觉、信息更新不及时等问题,已经成为了大模型落地的重要手段。
但在检索过程中,往往会检索到与问题极度相似、但又不包含答案或包含干扰答案的片段,这些答案无关片段对大模型生成答案有何影响呢?
今天正好刷到一篇相关文章,带给大家《How Easily do Irrelevant Inputs Skew the Responses of Large Language Models?》
Paper: https://arxiv.org/abs/2404.03302
Github: https://github.com/Di-viner/LLM-Robustness-to-Irrelevant-Information
先放相关结论,后面补充相关细节。
- 与常见语义无关的答案无关片段相比,LLMs更容易受到高度语义相关的答案无关片段的影响;
- 随着答案无关片段的增加,LLMs更容易分心,识别正确信息的能力降低;
- LLMs对答案无关片段的的识别能力随着问题格式的不同有所不同,自由式问答>是非性问答>多项选择式问答;
- 系统提示词中增加“忽略无关片段”等相关内容,对LLMs的识别能力有提升,但较小;
- 存在高度语义相关的答案无关片段时,COT或者ICL会导致LLMs过度思考,识别能力变差。
数据&片段构造
将答案无关片段,分成三类:
- 无关:与问题主题无关但相似性得分高的段落
- 部分相关:不仅在相似性度量上得分高,而且与问题的主题部分内容重叠
- 相关:不仅在相似性度量上得分高,而且与问题的主题内容重叠,但不包含正确答案。
数据构造:
- 无关:通过检索器直接检索Top10的段落;
- 部分相关:从检索Top10的段落中选择一个包含subj,但缺少obj的段落,作为前半段;然后找到一个包含错误答案obj’的片段作为后半段;
- 相关:与“部分相关”相比,“相关”片段与问题高度语义相关,但并不包含正确答案,主要涉及系误导性联类型、共同特征类型和虚构轶事类型。
相关样例如下图所示,
通过Contriever model计算不同片段相似度得分,相关和部分相关与问题的相似度甚至比真实片段更高,说明数据构造有效。
评价指标:
- 误表述比率(Misrepresentation Ratio,MR):LLMs因受到答案无关信息影响而改变正确回答内容的比例,用于衡量LLMs被无关信息误导的倾向;
- 不确定比率(Uncertainty Ratio,UR):LLMs因受到答案无关信息影响而在回答中表述“不确定”的比例,用于衡量LLMs对干扰后生成答案的信心程度。
为了方便评测,采用多项选择题的形式进行LLMs评估,将“正确答案”、“错误答案”以及“不确定”作为选择供LLMs选择。
结论实验
评估了LLMs在面对三个不同语义相关性级别的答案无关片段时的表现,如下表所示,随着片段的相关性增高,不同模型的效果均有所下降,对于干扰后生成的答案的信心更足。闭源模型的效果远好于开源模型。
PS:开源模型只做了Llama2-7B,感觉应该补充补充~
随着片段个数的不断增加,LLMs分心更严重,如下表所示,随着答案无关片段的数据增加,更愿意选择无关答案。
为了方便评估,选择多项选择的形式来对LLMs进行分析。但其他形式的问法表现如何?如下表所示,自由问答形式的问题受答案无关片段影响最小、其次是是否类型,影响最大的是多项选择式问题。
PS:对于自由式问题由于没有约束,答案较为散乱,不易评估,由采用了GPT3.5进行了答案对齐操作,人工抽检300条,准确率在97%,认为可靠。
忽略式Prompt对结果有微弱的改善,COT、忽略式Prompt+ICL对结果有害,效果变得更差。
写在最后
一个蛮有趣的实验报告,探索检索片段对RAG系统带来的额外影响。
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。