干货:RAG资料收集
这个分享是因为看到了Github上两个非常优秀的RAG资料收集项目,链接在下方,建议大家直接打开链接阅读
-
• 项目1:https://github.com/lizhe2004/Awesome-LLM-RAG-Application
-
• 项目2:https://github.com/jxzhangjhu/Awesome-LLM-RAG
综述
-
• 论文:Retrieval-Augmented Generation for Large Language Models: A Survey[1]
-
• 面向大语言模型的检索增强生成技术:调查[2]
-
• Github repo[3]
-
• Advanced RAG Techniques: an Illustrated Overview[4]
-
• 中译版 高级 RAG 技术:图解概览[5]
-
• 高级 RAG 应用构建指南和总结[6]
-
• Patterns for Building LLM-based Systems & Products[7]
-
• 构建 LLM 系统和应用的模式[8]
-
• RAG 大全[9]
-
• 中译版[10]
介绍
-
• Microsoft-Retrieval Augmented Generation (RAG) in Azure AI Search[11]
-
• 微软-Azure AI 搜索之检索增强生成(RAG)[12]
-
• azure openai design patterns- RAG[13]
-
• IBM-What is retrieval-augmented generation-IBM[14]
-
• IBM-什么是检索增强生成[15]
-
• Amazon-Retrieval Augmented Generation (RAG)[16]
-
• Nvidia-What Is Retrieval-Augmented Generation?[17]
-
• 英伟达-什么是检索增强生成[18]
-
• Meta-Retrieval Augmented Generation: Streamlining the creation of intelligent natural language processing models[19]
-
• Meta-检索增强生成:简化智能自然语言处理模型的创建[20]
-
• Cohere-Introducing Chat with Retrieval-Augmented Generation (RAG)[21]
-
• Pinecone-Retrieval Augmented Generation[22]
-
• Milvus-Build AI Apps with Retrieval Augmented Generation (RAG)[23]
-
• Knowledge Retrieval Takes Center Stage[24]
-
• 知识检索成为焦点[25]
-
• Disadvantages of RAG [26]
-
• RAG 的缺点[27]
比较
-
• Retrieval-Augmented Generation (RAG) or Fine-tuning — Which Is the Best Tool to Boost Your LLM Application?[28]
-
• RAG 还是微调,优化 LLM 应用的最佳工具是哪个?[29]
-
• 提示工程、RAGs 与微调的对比[30]
-
• RAG vs Finetuning — Which Is the Best Tool to Boost Your LLM Application?[31]
-
• RAG 与微调 — 哪个是提升优化 LLM 应用的最佳工具?[32]
-
• A Survey on In-context Learning[33]
应用参考
-
• Kimi Chat[34]
-
• 支持发送网页链接和上传文件进行回答
-
• GPTs[35]
-
• 支持上传文档进行类似 RAG 应用
-
• 百川知识库[36]
-
• 1.新建知识库后得到知识库 ID;
-
• 2.上传文件,获取文件 ID;
-
• 3.通过文件 ID 与知识库 ID 进行知识库文件关联,知识库中可以关联多个文档。
-
• 4.调用对话接口时通过 knowledge_base 字段传入知识库 ID 列表,大模型使用检索到的知识信息回答问题。
-
• COZE[37]
-
• 应用编辑平台,旨在开发下一代人工智能聊天机器人。无论您是否有编程经验,该平台都可以让您快速创建各种类型的聊天机器人并将其部署在不同的社交平台和消息应用程序上。
-
• Devv-ai[38]
-
• 最懂程序员的新一代 AI 搜索引擎,底层采用了 RAG 的大模型应用模式,LLM 模型为其微调的模型。
开源工具
RAG 框架
-
• LangChain[39]
-
• langchain4j[40]
-
• LlamaIndex[41]
-
• GPT-RAG[42]
-
• GPT-RAG 提供了一个强大的架构,专为 RAG 模式的企业级部署量身定制。它确保了扎实的回应,并建立在零信任安全和负责任的人工智能基础上,确保可用性、可扩展性和可审计性。非常适合正在从探索和 PoC 阶段过渡到全面生产和 MVP 的组织。
-
• QAnything[43]
-
• 致力于支持任意格式文件或数据库的本地知识库问答系统,可断网安装使用。任何格式的本地文件都可以往里扔,即可获得准确、快速、靠谱的问答体验。目前已支持格式: PDF,Word(doc/docx),PPT,Markdown,Eml,TXT,图片(jpg,png 等),网页链接
-
• Quivr[44]
-
• 您的第二大脑,利用 GenerativeAI 的力量成为您的私人助理!但增强了人工智能功能。
-
• Quivr[45]
-
• Dify[46]
-
• 融合了 Backend as Service 和 LLMOps 的理念,涵盖了构建生成式 AI 原生应用所需的核心技术栈,包括一个内置 RAG 引擎。使用 Dify,你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力。
-
• Verba[47]
-
• 这是向量数据库 weaviate 开源的一款 RAG 应用,旨在为开箱即用的检索增强生成 (RAG) 提供端到端、简化且用户友好的界面。只需几个简单的步骤,即可在本地或通过 OpenAI、Cohere 和 HuggingFace 等 LLM 提供商轻松探索数据集并提取见解。
-
• danswer[48]
-
• 允许您针对内部文档提出自然语言问题,并获得由源材料中的引用和参考文献支持的可靠答案,以便您始终可以信任您得到的结果。您可以连接到许多常用工具,例如 Slack、GitHub、Confluence 等。
预处理
-
• Unstructured[49]
-
• 该库提供了用于摄取和预处理图像和文本文档(如 PDF、HTML、WORD 文档等)的开源组件。 unstructured 的使用场景围绕着简化和优化 LLM 数据处理工作流程, unstructured 模块化功能和连接器形成了一个有内聚性的系统,简化了数据摄取和预处理,使其能够适应不同的平台,并有效地将非结构化数据转换为结构化输出。
路由
- • semantic-router[50]
评测框架
-
• ragas[51]
-
• Ragas 是一个用于评估 RAG 应用的框架,包括忠诚度(Faithfulness)、答案相关度(Answer Relevance)、上下文精确度(Context Precision)、上下文相关度(Context Relevancy)、上下文召回(Context Recall)
-
• tonic_validate[52]
-
• 一个用于 RAG 开发和实验跟踪的平台,用于评估检索增强生成 (RAG) 应用程序响应质量的指标。
-
• deepeval[53]
-
• 一个简单易用的开源 LLM 评估框架,适用于 LLM 应用程序。它与 Pytest 类似,但专门用于单元测试 LLM 应用程序。 DeepEval 使用 LLMs 以及在您的计算机上本地运行的各种其他 NLP 模型,根据幻觉、答案相关性、RAGAS 等指标来评估性能。
-
• trulens[54]
-
• TruLens 提供了一套用于开发和监控神经网络的工具,包括大型语言模型。这包括使用 TruLens-Eval 评估基于 LLMs 和 LLM 的应用程序的工具以及使用 TruLens-Explain 进行深度学习可解释性的工具。 TruLens-Eval 和 TruLens-Explain 位于单独的软件包中,可以独立使用。
-
• langchain-evaluation[55]
-
• Llamaindex-evaluation[56]
Embedding
-
• BCEmbedding[57]
-
• 网易有道开发的双语和跨语种语义表征算法模型库,其中包含 EmbeddingModel 和 RerankerModel 两类基础模型。EmbeddingModel 专门用于生成语义向量,在语义搜索和问答中起着关键作用,而 RerankerModel 擅长优化语义搜索结果和语义相关顺序精排。
-
• BGE-Embedding[58]
-
• 北京智源人工智能研究院开源的 embeeding 通用向量模型,使用 retromae 对模型进行预训练,再用对比学习在大规模成对数据上训练模型。
-
• bge-reranker-large[59]
-
• 北京智源人工智能研究院开源,交叉编码器将对查询和答案实时计算相关性分数,这比向量模型(即双编码器)更准确,但比向量模型更耗时。 因此,它可以用来对嵌入模型返回的前 k 个文档重新排序
-
• gte-base-zh[60]
-
• GTE text embedding GTE 中文通用文本表示模型 通义实验室提供
Prompting
-
• YiVal[61]
-
• GenAI 应用程序的自动提示工程助手 YiVal 是一款最先进的工具,旨在简化 GenAI 应用程序提示和循环中任何配置的调整过程。有了 YiVal,手动调整已成为过去。这种以数据驱动和以评估为中心的方法可确保最佳提示、精确的 RAG 配置和微调的模型参数。使用 YiVal 使您的应用程序能够轻松实现增强的结果、减少延迟并最大限度地降低推理成本!
SQL 增强
-
• vanna[62]
-
• Vanna 是一个 MIT 许可的开源 Python RAG(检索增强生成)框架,用于 SQL 生成和相关功能。
-
• Vanna 的工作过程分为两个简单步骤 - 在您的数据上训练 RAG“模型”,然后提出问题,这些问题将返回 SQL 查询。训练的数据主要是一些 DDL schema、业务说明文档以及示例 sql 等,所谓训练主要是将这些数据 embedding 化,用于向量检索。
LLM 部署和 serving
-
• vllm
-
• OpenLLM[63]
-
•
可观测性
-
• llamaindex-可观测性[64]
-
• langfuse[65]
-
• phoenix[66]
-
• openllmetry[67]
-
• lunary[68]
其他
-
• RAGxplorer[69]
-
• RAGxplorer 是一种交互式 Streamlit 工具,通过将文档块和的查询问句展示为 embedding 向量空间中可的视化内容来支持检索增强生成 (RAG) 应用程序的构建。
论文
-
• Retrieval Augmented Generation: Streamlining the creation of intelligent natural language processing models[70]
-
• Lost in the Middle: How Language Models Use Long Contexts[71]
-
• 论文-设计检索增强生成系统时的七个故障点[72]
-
• Seven Failure Points When Engineering a Retrieval Augmented Generation System
-
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents[73]
-
• RankGPT Reranker Demonstration (Van Gogh Wiki)[74]
-
• Bridging the Preference Gap between Retrievers and LLMs[75]
-
• Tuning Language Models by Proxy[76]
-
• Zero-Shot Listwise Document Reranking with a Large Language Model[77]
-
• 这篇论文提到两种重新排序方法:逐点重新排名、列表重新排名。
-
• 逐点重新排名是给定文档列表,我们将查询+每个文档单独提供给 LLM 并要求它产生相关性分数。
-
• 列表重新排名是给定文档列表,我们同时向 LLM 提供查询 + 文档列表,并要求它按相关性对文档进行重新排序。
-
• 建议对 RAG 检索到的文档按列表重新排序,列表重排优于逐点重排。
RAG 构建策略
预处理
-
• From Good to Great: How Pre-processing Documents Supercharges AI’s Output[78]
-
• 从好到优秀:如何预处理文件来加速人工智能的输出[79]
-
• 5 Levels Of Text Splitting[80]
-
• Semantic Chunker[81]
检索
-
• Foundations of Vector Retrieval[82]
-
• 这本 200 多页的专题论文提供了向量检索文献中主要算法里程碑的总结,目的是作为新老研究者可以独立参考的资料。
-
• Query Transformations[83]
-
• 基于 LLM 的 RAG 应用的问句转换的技巧(译)[84]
-
• Query Construction[85]
-
• 查询构造[86]
-
• Improving Retrieval Performance in RAG Pipelines with Hybrid Search[87]
-
• 在 RAG 流程中提高检索效果:融合传统关键词与现代向量搜索的混合式搜索技术[88]
-
• Multi-Vector Retriever for RAG on tables, text, and images[89]
-
• 针对表格、文本和图片的 RAG 多向量检索器[90]
-
• Relevance and ranking in vector search[91]
-
• 向量查询中的相关性和排序[92]
-
• Boosting RAG: Picking the Best Embedding & Reranker models[93]
-
• 提升优化 RAG:挑选最好的嵌入和重排模型[94]
-
• Azure Cognitive Search: Outperforming vector search with hybrid retrieval and ranking capabilities[95]
-
• Azure 认知搜索:通过混合检索和排序功能优于向量搜索[96]
-
• Optimizing Retrieval Augmentation with Dynamic Top-K Tuning for Efficient Question Answering[97]
-
• 动态 Top-K 调优优化检索增强功能实现高效的问答[98]
-
• Building Production-Ready LLM Apps with LlamaIndex: Document Metadata for Higher Accuracy Retrieval [99]
-
• 使用 LlamaIndex 构建生产就绪型 LLM 应用程序:用于更高精度检索的文档元数据[100]
检索后处理
重排序
- • RankGPT Reranker Demonstration[101]
Contextual(Prompt) Compression
-
• How to Cut RAG Costs by 80% Using Prompt Compression[102]
-
• 第一种压缩方法是 AutoCompressors。它的工作原理是将长文本汇总为短向量表示,称为汇总向量。然后,这些压缩的摘要向量充当模型的软提示。
-
• LangChain Contextual Compression[103]
其他
-
• Bridging the rift in Retrieval Augmented Generation[104]
-
• 不是直接微调检索器和语言模型等效果不佳的基础模块,而是引入了第三个参与者——位于现有组件之间的中间桥接模块。涉及技术包括排序、压缩、上下文框架、条件推理脚手架、互动询问等 (可参考后续论文)
评估
-
• Evaluating RAG Applications with RAGAs[105]
-
• 用 RAGAs(检索增强生成评估)评估 RAG(检索增强型生成)应用[106]
-
• Best Practices for LLM Evaluation of RAG Applications[107]
-
• RAG 应用的 LLM 评估最佳实践(译)[108]
-
• Exploring End-to-End Evaluation of RAG Pipelines[109]
-
• 探索 RAG 管道的端到端评估[110]
-
• Evaluating Multi-Modal Retrieval-Augmented Generation[111]
-
• 评估多模态检索增强生成[112]
-
• RAG Evaluation[113]
-
• RAG 评估[114]
-
• Evaluation - LlamaIndex[115]
-
• 不同数据规模下不同模型的 RAG 忠实度效果
-
• 不同模型下使用 RAG 与不是用 RAG(仅依靠内部知识)的忠实度效果
-
• 不同模型下结合内部和外部知识后的 RAG 忠实度效果
-
• 不同模型下的 RAG 的答案相关度效果
-
• 评估-LlamaIndex[116]
-
• Pinecone 的 RAG 评测[117]
-
• zilliz:Optimizing RAG Applications: A Guide to Methodologies, Metrics, and Evaluation Tools for Enhanced Reliability[118]
实践
- • 实践[119]
幻觉
课程
-
• 短课程 Building and Evaluating Advanced RAG Applications[122]
-
• Retrieval Augmented Generation for Production with LangChain & LlamaIndex[123]
视频
-
• A Survey of Techniques for Maximizing LLM Performance[124]
-
• How do domain-specific chatbots work? An overview of retrieval augmented generation (RAG)[125]
-
• 文字版[126]
-
• nvidia:Augmenting LLMs Using Retrieval Augmented Generation[127]
-
• How to Choose a Vector Database[128]
其他
-
• 构建企业级 AI 助手的经验教训[129]
-
• How to build an AI assistant for the enterprise[130]
-
• Large Language Model (LLM) Disruption of Chatbots[131]
-
• 大型语言模型 (LLM)对聊天机器人的颠覆[132]
-
• Gen AI: why does simple Retrieval Augmented Generation (RAG) not work for insurance?[133]
-
• 生成式 AI:为什么 RAG 在保险领域起不了作用?[134]
-
• OpenAI 如何优化 LLM 的效果[135]
-
• End-to-End LLMOps Platform[136]
通往 AGI 的神秘代码
if like_this_article():
do_action('点赞')
do_action('再看')
add_wx_friend('iamxxn886')
if like_all_arxiv_articles():
go_to_link('https://github.com/HuggingAGI/HuggingArxiv') star_github_repo(''https://github.com/HuggingAGI/HuggingArxiv')
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓
![](https://img-blog.csdnimg.cn/img_convert/53d9b3c03af362047d71cab37787478f.jpeg)
👉1.大模型入门学习思维导图👈
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)
👉4.大模型落地应用案例PPT👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓
![](https://img-blog.csdnimg.cn/img_convert/53d9b3c03af362047d71cab37787478f.jpeg)