RAG常见七大坑

论文题目：《Seven Failure Points When Engineering a Retrieval Augmented Generation System》 

论文地址：https://arxiv.org/pdf/2401.05856.pdf

LLM局限

        在面临以下情况时LLM存在局限性：最新知识或者是频繁更新的知识;2.领域相关知识。

RAG的作用

        1.减少LLM的幻觉问题     

        2.链接 资源/参考 来生成回复

        3.消除使用元数据注释文档的需要

RAG组成

        检索组件：从数据存储中检索与查询相关信息

        生成组件：使用检索到的信息作为相关上下文为用户查询生成答案

        LLM作用：检索器、数据生成、重写器和阅读器

案例研究

        认知审稿人/AI教程/生物医学问答

RAG七大坑

        1.内容缺失：检索内容与查询内容相关但无法回复时出错

        2.遗漏排名靠前文档：答案在文档中，但文档的排名不够高

        3.不在上下文：合并策略限制，检索到了答案相关文档，但没有合并进上下文

        4.没有提取到：相关文档太多噪声和矛盾，LLM不能正常回答

        5.格式错误：问题涉及特定格式，LLM忽略指令

        6.不正确特征：答案过于具体或笼统

        7.答案不完整：信息遗漏，答案在相关文档中没有被LLM完整提取

RAG关键因素（研究方向）

        1.分块和嵌入：

                分块可以分为基于启发和基于语义；

                权衡方法，查询相关性、检索准确性作为指标；

                多媒体和多模块的嵌入

        2.RAG v.s. 微调：RAG对于微调的优势：更新相关文档，控制用户访问文档权限

        3.测试/监控RAG系统：构建逼真的领域问答