![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
RAG
文章平均质量分 78
choose_c
总有人要赢,那为什么不是我。
展开
-
增强LLM:使用搜索引擎缓解大模型幻觉问题
论文题目:FRESHLLMS:REFRESHING LARGE LANGUAGE MODELS WITH SEARCH ENGINE AUGMENTATION论文由Google、University of Massachusetts Amherst、OpenAI联合发布。大部分大语言模型只会训练一次,不会被频繁的更新,训练用到的知识会慢慢过时,所以它无法适应变化的世界。论文作者提出了动态问答的基准测试,称为FRESHQA,并且提出了一种简单的解决问题的方法,FRESHPROMPT。原创 2023-10-09 22:19:07 · 1600 阅读 · 0 评论 -
RAG常见七大坑
2.RAG v.s. 微调:RAG对于微调的优势:更新相关文档,控制用户访问文档权限。3.不在上下文:合并策略限制,检索到了答案相关文档,但没有合并进上下文。论文地址:https://arxiv.org/pdf/2401.05856.pdf。7.答案不完整:信息遗漏,答案在相关文档中没有被LLM完整提取。生成组件:使用检索到的信息作为相关上下文为用户查询生成答案。4.没有提取到:相关文档太多噪声和矛盾,LLM不能正常回答。2.遗漏排名靠前文档:答案在文档中,但文档的排名不够高。1.减少LLM的幻觉问题。原创 2024-01-20 22:43:41 · 626 阅读 · 0 评论 -
RAPTOR:树组织检索的递归抽象处理
检索增强语言模型可以更好的融入长尾问题,但是现有的方法只检索短的连续块,限制了整个文档上下文的整体理解。文本提出方法:递归对文本块进行向量化,聚类,摘要,从下到上构建一棵具有不同摘要级别的树。要解决的问题是,大多数现有的方法只检索几个短的、连续的文本块,这限制了它们表示和利用大规模话语结构的能力。这与需要整合文本多个部分知识的主题问题特别相关,前k个检索到的短连续文本将不包含足够的上下文来回答问题。为了解决这个问题,我们设计了一个索引和检索系统,该系统使用树结构来捕获文本的高级和低级细节。原创 2024-02-06 19:07:06 · 909 阅读 · 0 评论