想必各位都碰到过大模型瞎回答的情况,也就是大模型“幻觉”。而RAG,就是解决这个问题的核心技术之一,在提升大模型回答的准确性和可靠性上,它拥有不可替代的作用。
鉴于大模型发展的必然趋势,以及对效率、可信性、实时性持续增长的需求,关于RAG的研究也必然是焦点。再加上,未来文本、图像等多模态扩展和垂直领域应用将成为主流,RAG的发展机会只多不少。
今年,我们对RAG的创新主要围绕多模态扩展、垂直领域深耕、动态知识管理等方向。建议论文er注意结合新兴技术与实际需求,多关注技术落地中的瓶颈问题。为方便找idea,我这边还整理了15个RAG开源工作,需要参考的直接取。
全部论文+开源代码需要的同学看文末
U-NIAH: Unified RAG and LLM Evaluation for Long Context Needle-In-A-Haystack
方法:论文提出了U-NIAH框架,通过在长文本中设置复杂的“针”(关键信息)配置,系统比较了LLMs和RAG方法的性能。结果表明,RAG显著提升了小模型的性能,但在高噪声和复杂推理场景下,其效果受限。
创新点:
-
提出U-NIAH框架,统一了LLMs和RAG在长文本背景下的比较标准,扩展了传统NIAH任务的复杂性。
-
构建了Starlight Academy合成数据集,通过虚构背景消除了预训练知识对实验的干扰。
-
发现RAG在小模型中显著提升性能,但在高噪声和复杂推理场景下存在局限性。
MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks
方法:论文提出了针对多模态RAG框架的攻击方法MM-POISONRAG,通过在知识库中注入对抗性知识,干扰检索和生成过程。它包含两种策略:LPA针对特定查询注入错误知识,引导模型生成错误答案;GPA则注入无关知识,使模型对所有查询生成无意义响应,从而破坏模型的生成能力。
创新点:
-
提出了首个针对多模态RAG的知识投毒攻击框架MM-POISONRAG。
-
设计了LPA和GPA两种攻击策略,分别针对特定查询和全局查询进行干扰。
-
在多模态问答任务中验证了攻击的有效性,暴露了多模态RAG的脆弱性。
Spatial-rag: Spatial retrieval augmented generation for real-world spatial reasoning questions
方法:论文提出了一种叫Spatial-RAG的方法,它通过结合空间数据库检索和语义检索来增强大语言模型的空间推理能力。这种方法利用RAG框架,先从空间数据库中找到符合条件的空间对象,再通过语义匹配进行筛选和排序,最后生成准确的回答。
创新点:
-
提出稀疏-密集空间检索模块,结合SQL查询和LLM语义匹配,提升空间检索准确性。
-
设计多目标优化框架,动态平衡空间和语义相关性,生成高质量回答。
-
在真实旅游数据集上验证,显著提升空间问答性能。
Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization
方法:论文介绍了一个叫SR-RAG的新方法,它让大型语言模型在回答问题时,可以动态选择是从外部知识库检索信息,还是直接用自己的知识来回答。这样既提高了回答的准确性,又减少了不必要的检索,提升了效率。
创新点:
-
提出SR-RAG框架,让模型在检索外部知识和使用自身知识之间动态选择。
-
引入最近邻搜索,增强模型在不同领域下的知识源选择能力。
-
设计多任务目标,联合优化知识源选择、知识表述和响应生成。
关注下方《学姐带你玩AI》🚀🚀🚀
回复“222”获取全部方案+开源代码
码字不易,欢迎大家点赞评论收藏