大模型RAG检索增强/知识库
文章平均质量分 84
大模型知识库-可信LLM - 外挂
LangChain等向量检索工具
Faiss、Milvus、ElasticSearch、PineCore
AI生成曾小健
AI生成式技术,计算机博士;这个博客的主题主要是AI生成式技术、AI相关技术、机器/深度学习论文或科研前沿、GNN图神经网络、神经网络,包括人工神经网络和生物神经网络,及其大脑演化,智能和认知的产生,通用人工智能;
如果需要看商科/金融相关的请移步CSDN: 量化交易曾小健(金融号)
展开
-
微软多部门联合推出GraphRAG项目:全面性和多样性方面显著优于原生大模型RAG
传统的RAG方法适用于局部文本检索任务,但。原创 2024-04-26 15:05:38 · 343 阅读 · 0 评论 -
RAG应用的典型工作流程
在总结中,我们看到了 RAG(检索增强生成)系统的快速进步,这包括了能够定制并推动 RAG 在多个领域性能和实用性进一步提高的先进范式的开发。例如,通过适应性增强检索技术(AAR(opens in a new tab)),REPLUG(opens in a new tab),和UPRISE(opens in a new tab)等方式来实现。这些工具和服务的开发,不仅推动了 RAG 技术的应用范围扩展,也为研究人员和开发者提供了更多的可能性,使他们能够更容易地探索和实现复杂的 RAG 应用。原创 2024-04-19 18:26:03 · 608 阅读 · 0 评论 -
【大模型】「RAG,Retrieval-Augmented Generation」检索增强生成-全流程
检索增强生成(Retrieval Augmented Generation),简称 RAG,已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念,这使它们能够生成准确且符合上下文的答案,同时能够减少模型幻觉。原创 2024-04-19 18:18:37 · 783 阅读 · 0 评论 -
改进召回(Retrieval)和引入重排(Reranking)提升RAG架构下的LLM应用效果
RAG架构来自于实际问题,而很多问题都是相似的,在效果优化层面,我们可以借鉴一些推荐系统等传统AI系统的优化经验,将其迁移过来,这对于改进RAG效果有很大的帮助,在后面的文章里,还将继续介绍具体场景的一些使用问题,欢迎关注。原创 2023-09-21 21:06:08 · 5146 阅读 · 0 评论 -
LLM应用架构之检索增强(RAG,retrieval-augmented generation)的缘起与架构介绍
原创 ullyAI工程化收录于合集#领域技术13个#LLM应用架构3个动手点关注本文是LLM应用架构系列的第一篇,将介绍LLM应用开发里最常见的一种架构模式RAG( Retrieval Augmented Generation),它被广泛应用于知识问答,智能助手等常见LLM应用场景中。在后续文章中还将介绍该模式落地实际过程中的一些常见问题及改进思路,欢迎关注“AI工程化”,持续为大家更新。原创 2023-09-21 20:58:00 · 5004 阅读 · 0 评论 -
IncarnaMind:支持多文档对话式聊天
IncarnaMind 使您能够使用 GPT(架构概述)等大型语言模型 (LLM) 与您的个人文档(PDF、TXT)进行聊天。虽然 OpenAI 最近推出了针对 GPT 模型的微调 API,但它无法让基础预训练模型学习新数据,而且响应可能容易产生事实幻觉。利用我们的滑动窗口分块机制和 Emsemble Retriever,可以高效查询地面实况文档中的细粒度和粗粒度信息,以增强 LLM。由 Langchain 和 Chroma DB提供支持。原创 2023-09-18 21:17:38 · 201 阅读 · 0 评论 -
M3E Models Langchain召回模型 hf官方页面
M3E 是的缩写。原创 2023-08-21 17:02:56 · 899 阅读 · 0 评论 -
kitlm: 领域知识融入语言模型,1.5倍的性能改善,开源源代码
本文研究背景是关于大型语言模型(LLMs)面临的计算成本过高和缺乏特定领域理解的问题。过去的方法存在计算成本高和缺乏领域特定理解等问题,本文的方法很好地解决了这些问题。本文提出了一种知识库集成方法,通过相关信息的注入将领域特定知识融入语言模型中。该方法在MetaQA上超越了和最先进的知识注入方法SKILL,在精确匹配得分上取得了超过1.5倍的性能改善。KITLM在航空领域的AeroQA上也表现出类似的性能提升。这些方法的性能支持了他们的目标。原创 2023-08-15 13:32:55 · 170 阅读 · 0 评论 -
将大模型应用于知识检索技术架构
基本上,用户的问题的缺乏某些相关信息模式,这些信息模式将显示一个有意义的答案。一种建议的方法是使用“假想文档嵌入”(Hypothetical Document Embeddings)来生成一个假想的上下文文档,该文档可能包含虚假的细节,但模仿了一个真实的答案。这种方法使语言模型更倾向于返回更具多样性的假想上下文文档建议,这(在嵌入后)从数据存储中返回更多变的结果,并导致完成包括准确答案的机会更高。例如,如果您的应用程序是为正在参加美国MLE的医学生的学习辅助工具,则需要提供跨多个学科的培训示例的完整模型。原创 2023-08-15 13:20:22 · 683 阅读 · 0 评论 -
大模型(LLM) + 上下文检索增强
本次分享了一种检索增强+大模型的融合解码策略,该方法简单有效;当然也存在缺陷,就是提高了推理成本;另外检索只用了生成序列的信息,并没有利用上原始query的信息,二者融合,可能也是一个提升思路。原创 2023-08-15 11:18:46 · 458 阅读 · 0 评论 -
结合符号性记忆,清华等提出ChatDB,提升大模型的复杂推理能力
的操作。这些都是引入符号性记忆模块所带来的优势。符号性记忆模块还可以跟之前的记忆模块同时使用,起到相辅相成的作用。之前的一些大语言模型和数据库结合的工作(比如DB-GPT和ChatExcel)也涉及用大语言模型生成 SQL 或 Excel 的指令,但 ChatDB 跟它们有本质上的不同。DB-GPT 和 ChatExcel 更多关注利用大语言模型解决自然语言到 SQL 或 Excel 指令的转化,而且更多只是用来解决查询的问题,数据源本身是给定好的。原创 2023-08-14 10:00:53 · 96 阅读 · 0 评论 -
第一部分 什么是LangChain:LLM的外挂/功能库
DB-GPT基于FastChat 构建大模型运行环境,并提供 vicuna 作为基础的大语言模型。此外,通过LangChain提供私域知识库问答能力,且有统一的数据向量化存储与索引:提供一种统一的方式来存储和索引各种数据类型,同时支持插件模式,在设计上原生支持Auto-GPT插件,具备以下功能或能力根据自然语言对话生成分析图表、生成SQL与数据库元数据信息进行对话, 生成准确SQL语句与数据对话, 直接查看执行结果。原创 2023-08-14 09:49:25 · 1987 阅读 · 0 评论