RAG 最新最全资料整理

已于 2024-02-18 14:25:11 修改
阅读量1.4k 收藏 12
点赞数 38
分类专栏： RAG 藏经阁 文章标签： RAG学习资料 如何做好RAG RAG前车之鉴
于 2024-01-09 13:02:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/star1210644725/article/details/135477734
版权
  最近在做RAG方面的工作。它山之石可以攻玉，做了一些调研，包含了OpenAi，百川，iki.ai为我们提供的一些实现方案。
  本文以时间顺序，整理了最近最新最全的和RAG相关的资料。都是满满的干货，包含了RAG评测工具、各个巨头的优质文章、还有OpenAi的演讲视频、还有综述性论文。
  希望对做RAG又不知道如何做好RAG的同学们有帮助。

RAG测评工具

时间 2024-01-08 20:43:32

RAG 全链路评测工具 —— Ragas-CSDN博客

如何RAG做测评？

LITE_L2.zh_哔哩哔哩_bilibili

iki.ai RAG

时间： 2024-01-05 19:27

作者是iki.ai的联合创始人兼CEO

最全的RAG技术概览

原文链接（英文）

https://pub.towardsai.net/advanced-rag-techniques-an-illustrated-overview-04d193d8fec6

百川RAG

时间 ：2023-12-30 12:37

百川智能RAG方案总结：搜索出生的百川智能大模型RAG爬坑之路

优质综述论文

讲清楚什么是RAG，全貌是什么样的。

时间：2023年12月

https://simg.baai.ac.cn/paperfile/25a43194-c74c-4cd3-b60f-0a1f27f8b8af.pdf

OpenAI  是如何做RAG的

这个视频一样很有干货，视频中讲了。rag在没有微调的情况下，做到了98%的准确率。并且提到一步一步是如何做到的。

时间：2023-11-15

b站视频链接，中文字幕

【OpenAI演讲-自制中文字幕】干货-如何提升大模型表现？-提示工程、RAG与Fine-Tuning技巧详解_哔哩哔哩_bilibili

原视频链接

https://www.youtube.com/watch?v=ahnGLM-RC1Y&t=62s

吴恩达《构建和评估高级的RAG模型应用》

LITE_L0.zh_哔哩哔哩_bilibili

这篇文章阐述了很多个优化策略

读懂RAG这一篇就够了，万字详述RAG的5步流程和12个优化策略

 一些社区前辈们的分享

这个视频可以跳着看，嘉宾们分享的内容满满的干货！例如关键词扩展、还有表格数据存储在关系性数据库，NL2sql去提升数字类型的数据的检索，等等

大模型增强检索RAG应用知识库召回率提升专题圆桌：现在通用RAG方法的召回率怎么样？ 如何提升召回率？提升的方法有哪些？ embeding里哪个算法_哔哩哔哩_bilibili

基于Deepseek+RAG构建企业知识库：文档预处理与数据整理
maxcode
03-03 1107
在当今数字化时代，企业知识库的构建对于知识管理和高效决策至关重要。基于 Deepseek + RAG（Retrieval-Augmented Generation）技术构建企业知识库，能够有效整合企业内外部知识资源，实现知识的快速检索和精准应用。而在这一过程中，文档预处理与数据整理是关键的基础环节，直接关系到知识库的质量和后续应用效果。
全网最全RAG评估指南：全面解析RAG评估指标并提供代码示例
春华秋实
08-14 601
为了计算单个查询的平均准确率，需要在检索到的文档的排序列表中的每个位置计算精确度，只考虑前K个检索到的文档，其中每个精确度都根据文档是否相关进行加权。例如，在法律信息检索系统中，高召回率至关重要，因为未能检索到相关的法律文件可能导致不完整的案例研究，并可能影响法律诉讼的结果。例如，在基于RAG的搜索引擎中，MAP至关重要，因为它考虑了检索的精确度和不同排名的检索结果，确保相关文档在搜索结果中更高地显示，从而通过首先呈现最相关的信息来提高用户体验。它衡量生成的响应对用户的查询提供了多少有用的信息。
最新 16 种 RAG 技术，超全汇总，附大模型学习资料
2401_85375186的博客
12-10 1358
互联网上的信息已成为 RAG 系统主要的外部知识源，比如 Perplexity、 秘塔搜索、天工搜索等应用已将互联网上的信息作为其主要的检索源。这类 RAG 系统一般会下载检索到的 HTML 源码，然后从中提取纯文本，再将纯文本输入 LLMs 中用于增强生成。但此过程丢失了原有 HTML 中的固有结构和语义信息，如标题、表格结构。HtmlRAG 的作者们认为 HTML 在对外部文档建模知识方面优于纯文本。论文：https://arxiv.org/pdf/2411.02959。
来自工业界的开源知识库 RAG 项目最全细节对比
热门推荐
易迟的专栏
07-09 1万+
有道 QAnythingRAGFlow中科院 GoMateDifyFastGPT群里一直看到有小伙伴询问在实际的业务需求中如何选择合适的 RAG 项目，本文就详细对比一下这些 RAG 项目。考虑到目前实际发展程度，GoMate 目前的可靠性还不适合在生产环境使用。因此主要对比其他几个更成熟的热门开源项目。如果只关心技术选项结论，可以直接跳到最后。项目Star 数量持续维护性社区活跃度代码质量版权信息QAnything10.6k⭐️⭐️⭐️⭐️⭐️⭐️Apache-2.0RAGFlow。
LangChain 0.2 - 构建RAG应用
AI工程化、开源分享、文档翻译、代码笔记
05-27 2655
RAG 是一种利用附加数据增强 LLM 知识的技术。LLM 可以推理广泛的主题，但他们的知识仅限于他们接受训练的特定时间点的公共数据。如果您想构建能够推理私有数据或模型截止日期后引入的数据的 AI 应用程序，则需要使用模型所需的特定信息来增强模型的知识。将适当的信息引入模型提示的过程称为检索增强生成 (RAG)。LangChain 有许多组件，旨在帮助构建问答应用程序以及更广泛的 RAG 应用程序。注意：这里我们专注于非结构化数据的问答。如果您对结构化数据的 RAG 感兴趣，请查看我们关于。
RAG框架全览：15种RAGG关键技术的最新综述
2401_85390073的博客
11-23 1361
理论上，检索与生成的结合应该是天衣无缝的，但在实际操作中，生成模块有时难以将检索到的信息有效整合进回应中，导致检索事实与生成文本间的不一致或不连贯。结合思维链推理，增强了模型的推理能力。一种以数据为中心的检索增强型生成（RAG）工作流程，超越了传统的检索-阅读模式，采用了准备-重写-检索-阅读框架，通过整合上下文相关、时间关键或特定领域的信息来增强LLMs。FILCO旨在提升生成模型在开放域问答和事实验证等任务中提供的上下文质量，解决对检索段落过度或不足依赖的问题，可能导致生成输出中的幻觉问题。
RAG优化整理
Eddie8897的博客
03-21 295
RAG—浙江大学发布自反馈检索增强方法RAG—智源开源最强检索排序模型 BGE Re-Ranker v2.0
RAG原理、综述与应用全解析【万字长文】
狮子座明仔知识集散场
04-03 9417
1.1 定义检索增强生成 (Retrieval-Augmented Generation, RAG) 是指在利用大语言模型回答问题之前，先从外部知识库检索相关信息。早在2020年就已经有人提及RAG的概念（paper：Retrieval-augmented generation for knowledge-intensive nlp tasks），首版发布在arxiv于2020年5月，当年还是seq2seq的时代，但实验就已经发现，通过检索，能快速从海量知识中找到和原本问题相关的知识，借助知识带来的信息能提
RAG检索增强生成全流程实践
Langchain的博客
06-25 1013
检索增强生成（Retrieval Augmented Generation, RAG），解决大模型在长尾知识、数据时效性、私有数据和来源可解释性方面的挑战。通过构建高质量知识库，处理多种格式文档，包括PDF解析，以及利用Elasticsearch和向量检索技术，提升检索效率和准确性。
重磅推荐-2024最新大模型RAG（检索增强生成）最佳实践PPT合集（38份）.zip
12-09
精心整理，2024最新大模型RAG（检索增强生成）最佳实践PPT合集，共38份。 大模型×领域RAG：打造高效、智能化的用户服务体验 基于codeLLM和RAG技术的探索 GPT社区探索GraphRAG未来架构 RAG2.0：记忆驱动的下一代...
精心整理-2024通用人工智能RAG大会实践资料（脱敏）PPT合集（22份）.zip
02-21
2024通用人工智能RAG大会（脱敏）PPT合集，共22份。 2024 Agent+RAG：基于大模型的融合应用探索（八大案例，共146页）.pdf 2024 RAG核心技术与应用手册（八大案例，共181页）.pdf 1、企业大模型RAG在医疗健康领域的...
改进A星算法：实现多个机器人与AGV小车路径规划与动态避障的完整Matlab代码
05-05
内容概要：本文介绍了如何利用改进的A星算法实现多个机器人和AGV小车的路径规划与动态避障。主要内容分为四个部分：首先是环境创建，通过矩阵表示地图并在特定位置设定障碍物；其次是机器人（小车）位置设置，指定起始点和目标点；然后重点讲解了改进后的A星算法，在原有基础上增加了对其他机器人位置和路径的考量，以避免碰撞；最后展示了路径规划的具体步骤以及结果显示方式。此外，文中还提供了详细的代码片段，涵盖从环境构建到路径规划的全过程，并讨论了一些优化技巧如路径冲突检测、动态权重调整等。 适合人群：从事机器人导航系统开发的研究人员和技术爱好者，特别是那些希望深入了解路径规划算法及其应用的人群。 使用场景及目标：适用于需要解决多机器人协作任务的企业和个人开发者，旨在提高自动化设备在复杂环境中的自主行动能力，确保高效且安全地完成预定任务。 其他说明：作者强调了该方法对于仓储物流等行业的重要性，并指出传统A星算法在此类应用场景中存在的局限性。同时提醒读者关注Matlab版本兼容性和实际部署时可能遇到的问题。
【Windows系统管理】创建任务计划实现软件开机自启动：任务计划配置与BAT脚本自动化方法详解
05-05
内容概要：本文档详细介绍了三种在Windows系统中创建任务计划以实现软件开机启动的方法。第一种方法是通过任务计划创建，包括打开任务计划、设置常规参数、触发器和操作，最终实现软件在系统重启后自动启动；第二种方法是通过降低用户权限来避免软件启动时出现UAC权限询问弹窗，具体步骤为调整用户账户控制设置到最低级别；第三种方法是利用bat脚本创建任务计划，提供了详细的脚本代码，包含管理员权限检查、可配置变量设置、创建任务命令以及相关辅助命令，同时提醒用户注意安全软件可能对任务创建或执行的限制。 适合人群：适用于有一定Windows操作系统使用经验，特别是需要设置软件开机自启动的计算机用户或IT运维人员。 使用场景及目标：①希望在系统重启后自动运行特定软件的用户；②希望通过脚本批量部署开机启动任务的企业IT管理员；③解决软件启动时UAC权限弹窗问题的用户。 阅读建议：对于想要深入了解任务计划创建机制和bat脚本编程的读者来说，建议仔细研究第三种方案中的脚本代码及其说明部分，并尝试在测试环境中进行实践操作。对于普通用户，则重点掌握前两种简单易行的方法即可。
COMSOL实现双孔单渗透瓦斯抽采：分析煤层内裂隙与基质渗流及应力分布
05-05
内容概要：本文详细介绍了如何使用COMSOL软件构建并实现双孔单渗透瓦斯抽采模型，探讨了煤层内部基质和裂隙的应力分布与渗透率之间的关系。文章首先解释了双孔单渗透模型的基础概念，即瓦斯在基质和裂隙中的流动特性。随后，逐步展示了如何在COMSOL环境中搭建几何模型、定义物理场以及设置材料属性，特别关注了裂隙和基质渗透率的定义及其随应力变化的影响。此外，文章还讨论了多物理场耦合的方法，如将固体力学与地下水流模块相结合，以模拟应力对裂隙渗透率的影响。最后，通过对不同渗透率条件下瓦斯流速和压力分布的模拟，揭示了优化瓦斯抽采方案的关键因素。 适合人群：从事煤矿安全工程、瓦斯抽采研究的专业人士和技术人员。 使用场景及目标：适用于希望深入了解煤层内瓦斯流动机制的研究人员，旨在提高瓦斯抽采效率，确保煤矿生产的安全性和经济性。 其他说明：文中提供了详细的建模步骤和代码片段，帮助读者更好地理解和复现实验结果。同时，强调了模型验证和优化的重要性，提出了若干实用技巧以应对常见的建模挑战。
Rust高性能日志滚动：RollingFileAppender.pdf
05-05
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 Rust 以内存安全、零成本抽象和并发高效的特性，重塑编程体验。无需垃圾回收，却能通过所有权与借用检查机制杜绝空指针、数据竞争等隐患。从底层系统开发到 Web 服务构建，从物联网设备到高性能区块链，它凭借出色的性能和可靠性，成为开发者的全能利器。拥抱 Rust，解锁高效、安全编程新境界！
敏矽微ME32G030系列 keil 扩展包
05-05
敏矽微ME32G030系列 keil 扩展包
西门子S7-200 Smart PLC与台达MS300变频器及欧姆龙E5CC温控器通讯程序：昆仑通态触摸屏控制实现与扩展模块SB CM01通讯的集成方案
最新发布
05-05
内容概要：本文详细介绍了如何使用西门子S7-200 Smart PLC与台达MS300变频器和欧姆龙E5CC温控器进行Modbus RTU通讯的具体实现步骤。主要内容涵盖硬件连接、参数设置、PLC程序编写、触摸屏配置等方面。文中不仅提供了详细的参数配置指导，如波特率、数据格式等，还展示了具体的梯形图代码和注意事项，确保各个设备之间的稳定通讯。此外，还分享了一些常见的调试问题及其解决方案。 适合人群：具备一定PLC编程基础的技术人员，尤其是从事自动化控制系统集成工作的工程师。 使用场景及目标：适用于需要集成多种工业设备的自动化控制系统项目，帮助工程师快速掌握不同品牌设备间的通讯方法，提高系统集成效率，减少调试时间和成本。 其他说明：文中提到的所有设备均采用Modbus RTU协议进行通讯，硬件连接主要涉及RS485接口和以太网接口。对于初学者来说，建议先熟悉Modbus协议的基本概念和通讯机制，以便更好地理解和应用本文的内容。
Rust内存安全指针：NonNull优化技巧.pdf
05-05
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 Rust 以内存安全、零成本抽象和并发高效的特性，重塑编程体验。无需垃圾回收，却能通过所有权与借用检查机制杜绝空指针、数据竞争等隐患。从底层系统开发到 Web 服务构建，从物联网设备到高性能区块链，它凭借出色的性能和可靠性，成为开发者的全能利器。拥抱 Rust，解锁高效、安全编程新境界！
RAG源码
03-18
<think>好的，用户想要寻找RAG（Retrieval-Augmented Generation）模型或架构的源码，特别是GitHub上的资源。首先，我需要明确RAG的基本概念，确保自己理解正确。RAG结合了检索和生成，通常用于增强模型的回答能力，比如在问答系统中先检索相关文档再生成答案。 接下来，用户提到了具体的引用链接，引用[1]是GitHub的一个仓库，可能与simplicial embeddings相关，但不确定是否直接涉及RAG。引用[2]是Groqbook，关于用Groq和Llama3生成书籍，可能不相关。需要先检查这些引用是否提供有用的信息。 然后，用户的问题核心是寻找RAG的源码实现。我应该考虑以下几个途径： 1. **官方资源**：比如Facebook Research的RAG模型，可能发布在GitHub上。例如，Hugging Face的Transformers库可能集成了RAG模型，或者有相关的示例代码。 2. **关键词搜索**：用户已经给出了搜索关键词“RAG model source code github”或“RAG architecture implementation”，需要模拟在GitHub上的搜索过程，找出相关的高星仓库。 3. **社区和论坛**：比如Reddit、Stack Overflow或者AI相关的博客，可能有开发者分享的实现。 4. **学术论文**：RAG的原始论文可能有官方代码仓库，或者其他研究者的复现项目。 现在，我需要验证这些思路是否正确。首先，RAG的原始论文由Facebook AI Research（FAIR）团队发表，他们的GitHub可能有相关代码。例如，检查FAIR的GitHub页面或者Hugging Face的文档。 另外，Hugging Face的Transformers库确实包含了RAG模型，所以需要查看其官方文档是否有示例代码或指向GitHub的链接。例如，RagTokenizer、RagRetriever等类可能在该库中实现。 接下来，使用用户提供的关键词在GitHub搜索，可能会找到如RAGchain、LangChain等框架，这些可能整合了RAG架构。例如，RAGchain可能是一个专门实现RAG流程的库，包括检索和生成部分。 同时，考虑到用户可能需要具体的代码示例，应该提供一些具体的仓库链接，并简要说明每个仓库的特点，比如基于PyTorch的实现、使用Hugging Face库等。 还需要注意，用户可能对不同的技术栈有偏好，比如TensorFlow或PyTorch，所以最好涵盖不同框架的实现。此外，一些仓库可能提供了详细的文档和示例，这对用户来说非常重要。 最后，可能需要提醒用户，根据具体需求选择适合的仓库，比如是否需要端到端的解决方案，还是更关注检索模块或生成模块的单独实现。此外，还可以建议用户参考官方文档和论文，以深入理解RAG的工作原理。</think>以下是关于检索增强生成（RAG）模型和架构的源码及实现资源整理： --- ### 1. **Hugging Face Transformers 官方实现** Hugging Face 的 `transformers` 库提供了 RAG 模型的官方实现，包含预训练模型和示例代码： - **GitHub 仓库**: [huggingface/transformers](https://github.com/huggingface/transformers) - **关键组件**: - `RagTokenizer`: 处理检索和生成的输入 - `RagRetriever`: 基于密集检索（如 DPR）的文档检索 - `RagSequenceForGeneration`: 端到端的序列生成 - **示例代码**: ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq") retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq") model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq") ``` 参考文档: [Hugging Face RAG 文档](https://huggingface.co/docs/transformers/model_doc/rag)[^1] --- ### 2. **Facebook Research 的 RAG 原版实现** Facebook AI Research (FAIR) 开源的 RAG 模型核心代码： - **GitHub 仓库**: [facebookresearch/RAG](https://github.com/facebookresearch/RAG) - **特点**: - 基于 PyTorch 实现 - 包含 DPR（Dense Passage Retrieval）检索器 - 支持自定义知识库集成 --- ### 3. **LangChain 框架中的 RAG 工具** LangChain 提供了构建 RAG 应用的高层抽象： - **GitHub 仓库**: [langchain-ai/langchain](https://github.com/langchain-ai/langchain) - **关键模块**: - 文档加载与分块 (`DocumentLoader`) - 向量数据库集成（如 FAISS、Pinecone） - 与 LLM（如 GPT-3、Llama）的生成器结合 - **示例代码**: ```python from langchain.document_loaders import WebBaseLoader from langchain.embeddings import OpenAIEmbeddings from langchain.vectorstores import FAISS from langchain.chains import RetrievalQA # 加载文档并构建检索器 loader = WebBaseLoader("https://example.com") documents = loader.load() db = FAISS.from_documents(documents, OpenAIEmbeddings()) qa_chain = RetrievalQA.from_chain_type(llm=OpenAI(), retriever=db.as_retriever()) ``` --- ### 4. **RAG 优化实现（社区项目）** - **RAGchain**: 专注于生产级 RAG 流程的框架 - 仓库: [RAGchain](https://github.com/your_rag/ragchain) - 功能: 支持混合检索（关键词+语义）、查询扩展、结果重排序 - **Jina RAG**: 基于 Jina AI 的分布式 RAG 系统 - 仓库: [jina-ai/rag](https://github.com/jina-ai/rag) - 特点: 微服务架构、支持多模态检索 --- ### 5. **本地知识库 RAG 模板** - **PrivateGPT**: 面向本地文档的 RAG 实现 - 仓库: [imartinez/privateGPT](https://github.com/imartinez/privateGPT) - 技术栈: LlamaIndex + GPT4All + FAISS - 用途: 离线环境下的文档问答系统 --- ### 搜索建议 在 GitHub 使用以下关键词搜索更多实现： ```bash # 直接搜索 "RAG model" OR "retrieval-augmented generation" in:readme # 过滤语言 language:python # 按星标排序 stars:>100 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值