构建开源的多模态 RAG 系统

已于 2024-01-22 20:14:06 修改
阅读量536 收藏
点赞数
分类专栏： 每日外文推荐 文章标签： 搜索引擎 ai
于 2024-01-22 20:13:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48030475/article/details/135757328
版权
本文介绍了如何构建一个开源的多模态检索增强生成（RAG）系统，利用ChromeDB和Hugging Face框架，不依赖LangChain或Llama索引。RAG通过结合外部知识库，增强了大型语言模型的准确性和可靠性。同时，文章探讨了多模态学习的重要性，以及如何使用CLIP模型处理图像和文本。最后，文章提供了创建RAG管道的步骤，包括数据预处理、向量数据库创建和多模态大型语言模型的使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

每日推荐一篇专注于解决实际问题的外文，精准翻译并深入解读其要点，助力读者培养实际问题解决和代码动手的能力。

欢迎关注公众号（NLP Research），及时查看最新内容

原文标题：Building an Open Source Multi-Modal RAG System

原文地址：https://medium.com/nadsoft/building-an-open-source-multi-modal-rag-system-641271e4ef17

构建开源的多模态 RAG 系统

在这次新的冒险中，我们将深入探讨使用开源大语言多模态模型（LLMM）构建检索增强生成（RAG）系统的过程。值得注意的是，我们的重点是在不依赖 LangChain 或 Llama 索引的情况下实现这一目标；相反，我们将利用 ChromeDB 和 Hugging Face 框架。

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
丨汀、的博客
01-09 4461
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
RAG模型的开源工具与资源：快速搭建自己的知识检索增强系统
AI天才研究院
03-09 611
1. 背景介绍 1.1 什么是知识检索增强系统 知识检索增强系统（Knowledge Retrieval Augmented System）是一种结合了知识检索和自然语言处理技术的智能系统，旨在帮助用户快速、准确地获取所需信息。这类系统在搜索引擎、问答系统、智能助手等领域有着广泛的应用。
Multi-Modal RAG 多模态检索如何实现呢？
weixin_69415739的博客
06-25 1275
许多文档包含混合内容类型，包括图像和文本。然而，在大多数 RAG 应用程序中，图像中捕获的信息丢失了。随着多模态LLMs（如 GPT4-V、LLaVA 或 FUYU-8b）的出现，值得考虑如何在 RAG 流程中利用图像。在 RAG 中利用多模态模型的选项很少Option 3在这里我们将实现3。
三款顶级开源RAG (检索增强生成)工具：Verba、Unstructured 和 Neum
XianxinMao的博客
03-09 5562
随着企业对话式数据处理需求的提升，面临的挑战是数据隐私性和缺乏企业级解决方案。虽然类似LangChain能在短时间内构建RAG应用，但忽视了文档解析、多来源数据ETL、批量处理、访问控制等问题。此文评估了三款开源RAG工具的潜力，专为生产环境设计。
15个最佳开源 RAG 框架选型指南
最新发布
kaka0722ww的博客
04-15 908
LangChain 是较早构建 LLM 应用的框架之一，并在 RAG 生态系统中占据重要地位。它提供了一个框架，用于将组件和集成链接在一起，以开发 AI 应用，同时适应不断发展的技术。LangChain 提供用于模型、嵌入和向量存储的接口，提供了一种结构化的方法来实现检索增强生成系统。Dify 是一个开源的 LLM 应用程序开发平台，它将可视化工作流构建与强大的 RAG 功能相结合。其直观的界面无需大量编码，方便开发人员和非技术用户使用。
让大模型不再胡言乱语！2024 Github 上最不能错过的 5 个开源 RAG 框架
m0_59235945的博客
07-27 4281
把大模型想象为一位尽职的图书馆管理员，当你每次有疑问的时候，他就会根据你的口述需求，在浩瀚的文本中尽可能的找到最符合你需求的书籍。而一旦图书馆并没有相关藏书，或内容已过时，我们的这位尽职管理员可不会承认自己的无能，一顿输出猛如虎，结果一看全错。RAG 是一层额外的“知识外挂”。好比给这位管理员额外增补了相关领域的知识，这样它回答出的问题会变得更加精准。这样你就可以放心的让这位管理员，精准解答其他客户所提出疑惑。
一些Github上开源的RAG 应用
Angus
04-14 5706
我也是做RAG相关工作的。周末抽了一些时间，来看看开源的RAG技术能够做到什么程度。 其实我重点关注的是以下几点（以下几个点是RAG提升的关键点）： 这些开源技术他们是怎么做文档解析的（有哪些我们可以借鉴的，哪些是我不知道的） 如何做切分的 不同的场景数据又是如何制定不同的策略的 还有如何做召回的，召回策略是什么？ 以及如何选用embedding模型，rerank模型 效果怎么样，本地快速部署效果是否方便？
【开源】基于OCR和文档解析的下一代 RAG 引擎，结合大语言模型（LLM）针对用户各类不同的复杂格
人工智能讲师分享前沿技术
04-16 1033
之所以需要对用户文档进行切分，是因为向量表征的语义比较含糊，不仅一篇文章可以表征为一个向量，一个单词也可以表征为一个向量，这就导致文字块跟向量对应的粒度很难控制：粒度过粗，用一条向量对应一大段话，对这些文字的细节很难表征；此外，他还活跃在技术社区，分享自己的见解和心得，助力更多开发者掌握微服务架构的精髓。在很长一段时间内，RAG 在行业的代名词都叫知识库，上述的应用架构，不仅带火了向量数据库，也带火了以LangChain，LlamaIndex 为代表的中间件，它们负责处理上图中各个箭头背后的工作流。
构建用于视觉问答的多模态 RAG 系统
mama19971023的博客
08-08 1698
为了为后面使用多向量检索器做准备，我们需要为文本、表格和图像元素创建摘要。这些摘要将存储在向量存储中，以便在我们将输入查询传递到提示中时实现语义搜索。让我们开始文本和表格摘要。首先，我们将设置一个提示模板，指示AI充当专家研究助理，负责总结表格和文本。接下来，我们将创建一个链，处理每个文本和表格元素，通过这个提示和GPT-4o模型，生成简洁的摘要。为了提高效率，我们将同时批量处理五个文本或表格元素，使用参数。## 检索器# 提示# 摘要链# 应用于文本# 应用于表格。
多模态RAG：通用框架方案调研汇总
lengm
12-10 1455
多模态检索增强生成是一种新兴的设计范式，允许AI模型与文本、图像、视频等存储进行交互。在介绍多模态 RAG 之前，我们先简单了解一下传统的检索增强生成 (RAG)。
《向量数据库指南》——打造多模态RAG系统，Milvus Lite与Gemini 1.5强强联合
实战AI智能体
11-04 1239
Milvus 是一款开源向量数据库，能够高效存储十亿规模的向量数据，并在 RAG 的检索阶段执行高效的向量搜索。Gemini 1.5 还支持更长的上下文，能够处理高达 100 万个 Token 的上下文。Gemini 1.5 是由 Google DeepMind 开发的一款多模态大语言模型（LLM），基于此前的 Gemini 1.0 模型进行了改进。而 Pro 是 Gemini 1.5 模型中性能最强的版本，其性能与迄今为止最大的 Gemini模型 —— Gemini 1.0 Ultra 相当。
Cognita：强大的开源RAG框架
m0_59164304的博客
06-13 974
想象一个系统，它不仅能搜索你的文档，还能理解其含义和上下文。Cognita是一个开源框架，使你能够构建检索增强生成（RAG）系统。摄入如文章或电子邮件等文档。通过将其分解为更小的部分并使用称为“嵌入”的数学结构来理解内容。这可以看作是为每条信息创建一个独特的指纹。当你提问时，生成器利用文档嵌入和强大的语言模型来找到相关信息并形成回答。Cognita简化了构建和部署这些RAG系统的过程，使不具备丰富编码经验的人也能使用。Cognita 提供了一个模块化框架，使您能够自定义系统对用户查询的响应方式。
构建开源多模态RAG系统
人工智能讲师分享前沿技术
06-24 1024
1. 增强的准确性和可靠性：RAG通过将大型语言模型（LLMs）重定向到权威的知识来源，解决了其不可预测性的问题。RAG引入了透明度，使组织能够对生成的文本输出拥有更大的控制权，解决了关于偏见、可靠性和合规性的担忧。为了解决这个限制，多模态模型结合了不同的模态，使得对多样化的数据有更全面的理解。多模态大型语言模型（MLLM）代表了自然语言处理中的一个范式转变，超越了传统的基于文本的方法。6. 什么是多模态？大型语言模型，如GPT-3，擅长生成类似人类的语言，但在提供最新或特定领域的信息方面存在限制。
2024年十大开源RAG框架
m0_59164304的博客
10-26 2530
检索增强生成（RAG）已成为增强大型语言模型能力的一项强大技术。RAG框架结合了基于检索系统的优点与生成模型的优势，能够提供更准确、更具上下文感知能力以及更及时的响应。随着对复杂AI解决方案的需求增长，许多开源的RAG框架在GitHub上涌现，每个框架都提供了独特的功能和能力。检索增强生成（RAG）是一种人工智能框架，通过整合外部知识源来增强大型语言模型（LLM）的能力。RAG通过从知识库中检索相关信息并利用这些信息来增强LLM的输入，从而使得模型能够生成更准确、更及时且更符合上下文的相关响应。
2025 Github 上最不能错过的 5 个开源 RAG 框架，让大模型不再胡言乱语！
2401_85379281的博客
12-06 3460
把大模型想象为一位尽职的图书馆管理员，当你每次有疑问的时候，他就会根据你的口述需求，在浩瀚的文本中尽可能的找到最符合你需求的书籍。而一旦图书馆并没有相关藏书，或内容已过时，我们的这位尽职管理员可不会承认自己的无能，一顿输出猛如虎，结果一看全错。RAG 是一层额外的“知识外挂”。好比给这位管理员额外增补了相关领域的知识，这样它回答出的问题会变得更加精准。这样你就可以放心的让这位管理员，精准解答其他客户所提出疑惑。
2025年值得关注的21个RAG开源项目
2401_85378759的博客
02-25 1239
检索增强生成（RAG）框架通过将检索机制与生成模型相结合，彻底改变了大型语言模型（LLM）的使用方式。随着人工智能解决方案需求的不断上升，GitHub 上陆续出现了多个开源的 RAG 框架，每个框架都提供了独特的功能和特性。
微软重磅开源 GraphRAG：新一代 RAG 技术来了！
musicml的博客
07-07 9223
▼最近直播超级多，预约保你有收获今晚直播：《RAG/Dify 构建企业案例实战》—1—为什么需要 GraphRAG？7月3日，微软重磅开源了基于图的 RAG -- GraphRAG。在 GitHub 上发布后，短短4天时间，该项目迅速获得了 6000 Stars！足见这个项目的热度！Github 地址：https://github.com/microsoft/graphrag强化主流大模型，比...
2024年十大爆火开源RAG框架：AI时代的智能增强引擎【附开源项目】
qingkahui24689的博客
11-13 2403
在AI技术的飞速发展中，RAG（检索增强生成）框架以其卓越的性能和广泛的应用前景，成为了AI技术的新宠。而LangChain作为构建LLM应用程序的强大工具，与RAG框架有着怎样的差异？本文将为您深度解析，并带来GitHub上星标爆表的十大RAG框架的详细介绍！
开源RAG个人知识库项目开发分析
极限突破者的博客
07-01 2339
Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，这个LLM开发基础阶段已经进入尾声了，本文中我们不介绍更多的理论与知识点，而是通过的分析开源项目的解决方案来帮助各位开发者理清自己开发的思路；在本文中作者将通过个人知识库助手进行学习：通过分析这个RAG应用的开发流程，思路以及业务代码；帮助读者能学会如何规划自己的LLM的应用开发；在当今数据量迅速增长的时代，高效管理和检索信息已成为关键技能。为了应对这一挑战以及LLM技术的发展，该项目应运而生，旨在构建一个基于。
多模态rag开源框架
02-13
### 关于多模态RAG开源框架 #### Haystack Haystack是一个全面而成熟的框架，支持多种数据类型的处理，包括文本、表格以及多媒体文件。对于希望构建复杂应用的开发者来说，这是一个理想的选择[^1]。 ```python from haystack.nodes import BM25Retriever, EmbeddingRetriever from haystack.document_stores import InMemoryDocumentStore document_store = InMemoryDocumentStore() retriever_text = BM25Retriever(document_store=document_store) retriever_image = EmbeddingRetriever(document_store=document_store, embedding_model="sentence-transformers/clip-ViT-B-32") ``` #### FlashRAG 作为一款新兴的专业框架，FlashRAG专注于高效能的数据检索与生成能力，在处理大规模数据集方面表现出色。该工具特别适合那些追求速度和效率的应用场景。 #### 使用LLMM构建自定义系统 除了上述提到的成熟框架外，还可以基于开源大型语言多模态模型(LLMM)，通过集成ChromeDB和HuggingFace来创建定制化的多模态RAG系统。这种方法提供了极大的灵活性，使开发人员可以根据具体需求调整系统的各个组件[^3]。 ```bash pip install chromadb transformers torch ``` ```python import torch from transformers import CLIPProcessor, CLIPModel model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") def encode_images(image_paths): images = [Image.open(path).convert('RGB') for path in image_paths] inputs = processor(images=images, return_tensors='pt') outputs = model.get_image_features(**inputs) return outputs / outputs.norm(p=2, dim=-1) encoded_images = encode_images(["path/to/image1.jpg", "path/to/image2.png"]) print(encoded_images.shape) # 输出形状为(batch_size, hidden_dim) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hj_caas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值