爆火的与文档聊天的 RAG 开源工具，支持 GraphRAG 、多模态问答和多种复杂推理！

最新推荐文章于 2024-09-10 08:20:50 发布
最新推荐文章于 2024-09-10 08:20:50 发布
阅读量1k 收藏 12
点赞数 16
文章标签： 开源 大语言模型 大模型 自然语言处理 RAG 多模态 AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85379281/article/details/141889028
版权

在当今信息爆炸的时代，我们每天都在与海量的文档打交道，无论是研究报告、学术论文还是日常的工作文件。随着数据量的不断增长，如何高效地从这些文档中提取所需信息成为了一个挑战。

随着 AI 技术的发展和 RAG 技术的出现，前面遇到的问题，有了一个很不错的解决方案。将您的文档转化为一个智能的知识库，让您能够通过简单的对话就能获取深入的洞察和答案。

本文 Kakuqo 将介绍近期 Github 上非常火爆的开源项目 —— Kotaemon。

Kotaemon 是一个基于 RAG 的开源工具，让你可以轻松地与您的文档 “聊天”💬。

kotaemon 主要特点

  1. 自托管文档问答 (RAG) Web-UI：支持多用户登录，组织文件到私人/公共集合，协作并分享你喜欢的聊天记录。

  2. 组织 LLM 和嵌入模型：支持本地 LLM 和主流的 API 提供商（如 OpenAI、Azure、Ollama、Groq）。

  3. 混合 RAG 管道：提供默认的混合（全文和向量）检索器和重新排序，以确保最佳检索质量。

  4. 多模态问答支持：在多个包含图表和表格的文档上执行问答，支持多模态文档解析。

  5. 高级引用和文档预览：系统默认提供详细引用以确保 LLM 答案的正确性。可以在浏览器内的 PDF 查看器中直接查看引用（包括相关评分）并高亮显示。当检索管道返回低相关性文章时会发出警告。

  6. 支持复杂推理方法：使用问题分解来回答复杂/多跳问题。支持基于代理的推理方法，如 ReAct、ReWOO 和其他代理。

  7. **可扩展：**基于 Gradio 构建，您可以随意自定义/添加任何 UI 元素。支持多种文档索引和检索策略，还提供了 GraphRAG 索引管道的示例。

kotaemon 使用示例

添加 AI 模型

文件上传

与文档聊天

信息面板

kotaemon 快速上手

为了方便大家快速体验 kotaemon 的功能，kotaemon 作者很贴心为我们提供了一个线上版本。

https://huggingface.co/spaces/cin-model/kotaemon-demo

除此之外，该项目也支持本地部署，提供了 App、Docker 部署和非 Docker 部署的方案。

安装 App

从 Github kotaemon 仓库的 releases 界面，下载最新的版本，目前最新版本是 v0.4.4。

App 安装步骤：

  1. 解压下载的文件。

  2. 导航到 scripts 文件夹并启动与您的操作系统匹配的安装程序：

  • Windows: 运行 run_windows.bat。只需双击该文件。

  • macOS: 运行 run_macos.sh

  • 右键点击您的文件并选择“打开方式”和“其他”。

  • 启用“所有应用程序”并选择“终端”。

  • 注意：如果您希望始终使用终端打开该文件，请勾选“始终使用此方式打开”。

  • Linux: 运行 run_linux.sh。请在终端中使用 bash run_linux.sh 运行该脚本。

  1. 安装完成后，安装程序会询问是否启动 ktem 的 UI，回答继续。

  2. 如果启动，应用程序将自动在您的浏览器中打开。

Docker 部署

  1. 启动服务器
docker run \   -e GRADIO_SERVER_NAME=0.0.0.0 \   -e GRADIO_SERVER_PORT=7860 \   -p 7860:7860 -it --rm \   taprosoft/kotaemon:v1.0
  1. 打开应用

当服务器正常启动之后，在浏览器打开 http://localhost:7860/ 地址，即可以访问 kotaemon 内置的 Web UI。

https://github.com/Cinnamon/kotaemon

在大模型时代，我们如何有效的去学习大模型？

现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家_。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

三、AI大模型经典PDF书籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

四、AI大模型各大场景实战案例

在这里插入图片描述

结语

【一一AGI大模型学习 所有资源获取处（无偿领取）一一】
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

大耳朵爱学习
关注
实战GraphRAG（一）：初步体验GraphRAG及其与RAG的对比
mtl1994的博客
07-16 796
通过本文的初步体验，我们了解了GraphRAG与RAG的基本区别。GraphRAG利用知识图谱和社区摘要，提高了复杂信息处理和私有数据集推理的性能，虽然在搜索速度上略有不及，但其准确性和相关性表现更优。本文还通过实际示例展示了如何安装和配置GraphRAG，并执行全局搜索和本地搜索。GraphRAG在处理复杂查询和多源信息时展现了独特的优势，适合需要深度理解和综合分析的应用场景。未来，我们将进一步探讨其高级功能和优化方法。示例请参考GraphRAG文档。
微软开源项目GraphRAG——基于知识图谱的RAG简介
洛阳泰山的博客
07-11 2428
在大型语言模型（LLM）的前沿研究中，一个核心挑战与机遇并存的领域是扩展它们的能力，以解决超出其训练数据范畴的问题。这不仅要求模型在面对全新数据时仍能保持卓越表现，还意味着开辟了全新的数据分析可能性，如在各种数据集中识别主题和语义概念，同时保留上下文和实体关系。在此背景下，微软研究院自豪地推出了GraphRAG——一项旨在显著提升LLM能力的重大突破。传统的检索增强生成（RAG）方法通过基于用户查询搜索信息，并将结果作为AI生成答案的参考，已成为大多数LLM工具不可或缺的一部分。
端到端 RAG 解决方案 RAGFlow 正式开源
datageek的博客
04-01 5063
继 AI 原生数据库 Infinity 于去年底正式开源之后，我们的端到端 RAG 解决方案 RAGFlow 也于今日正式开源。项目地址： https://github.com/infiniflow/ragflow
Kotaemon：开源的RAG UI
新缸中之脑
09-01 2094
检索增强生成 (RAG) 已成为一种改变游戏规则的方法，可增强大型语言模型的功能。Kotaemon 是由 Cinnamon 开发的开源项目，它站在这项创新的最前沿，提供了一个简洁、可定制且功能丰富的基于 RAG 的用户界面，用于与文档聊天。Kotaemon 的设计兼顾了最终用户和开发人员，为文档问答 (QA) 和 RAG 管道开发提供了一个多功能平台。
7.1k Star！RAGFlow：最新开源OCR+深度文档理解的RAG引擎、大海捞针测试、降低幻觉、服务化API集成进业务！
lythinking的博客
05-11 4720
RAG，也就是检索增强生成，听上去可能有点科技感，但其实这个概念相当直观。它基本上就是通过一个巧妙的方法来让大型语言模型（LLM）生成更精准、更有用的回答。这个过程开始于一种特殊的数据库，我们可以称之为“垂直领域数据库”。当你向LLM提出一个问题时，RAG不是直接回答，而是先到这个数据库里去搜索与你的问题最相关的信息。这就好比你问了一个复杂的问题，RAG先跑去图书馆查资料。接下来的步骤是关键：RAG把这些检索到的信息整合成一个精细的提示模板。然后，这个模板和你的原始问题一起被送到LLM。
构建开源多模态RAG系统
人工智能讲师分享前沿技术
06-24 675
1. 增强的准确性和可靠性：RAG通过将大型语言模型（LLMs）重定向到权威的知识来源，解决了其不可预测性的问题。RAG引入了透明度，使组织能够对生成的文本输出拥有更大的控制权，解决了关于偏见、可靠性和合规性的担忧。为了解决这个限制，多模态模型结合了不同的模态，使得对多样化的数据有更全面的理解。多模态大型语言模型（MLLM）代表了自然语言处理中的一个范式转变，超越了传统的基于文本的方法。6. 什么是多模态？大型语言模型，如GPT-3，擅长生成类似人类的语言，但在提供最新或特定领域的信息方面存在限制。
让大模型不再胡言乱语！2024 Github 上最不能错过的 5 个开源 RAG 框架
m0_59235945的博客
07-27 2036
把大模型想象为一位尽职的图书馆管理员，当你每次有疑问的时候，他就会根据你的口述需求，在浩瀚的文本中尽可能的找到最符合你需求的书籍。而一旦图书馆并没有相关藏书，或内容已过时，我们的这位尽职管理员可不会承认自己的无能，一顿输出猛如虎，结果一看全错。RAG 是一层额外的“知识外挂”。好比给这位管理员额外增补了相关领域的知识，这样它回答出的问题会变得更加精准。这样你就可以放心的让这位管理员，精准解答其他客户所提出疑惑。
一些Github上开源的RAG 应用
Angus
04-14 3313
我也是做RAG相关工作的。周末抽了一些时间，来看看开源的RAG技术能够做到什么程度。 其实我重点关注的是以下几点（以下几个点是RAG提升的关键点）： 这些开源技术他们是怎么做文档解析的（有哪些我们可以借鉴的，哪些是我不知道的） 如何做切分的 不同的场景数据又是如何制定不同的策略的 还有如何做召回的，召回策略是什么？ 以及如何选用embedding模型，rerank模型 效果怎么样，本地快速部署效果是否方便？
NVIDIA NIM平台一小时手撕RAG与多模态智能机器人
08-18
本项目借助 Nvidia NIM 平台实现RAG智能对话机器人，以及智能图表分析机器人。
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
丨汀、的博客
01-09 3294
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
Vector | Graph：蚂蚁首个开源Graph RAG框架设计解读
南七小僧的学海无涯
08-09 347
RAG的目标是通过知识库增强内容生成的质量，通常做法是将检索出来的文档作为提示词的上下文，一并提供给大模型让其生成更可靠的答案。更进一步地，RAG的整体链路还可以与提示词工程（Prompt Engineering）、模型微调（Fine Tuning）、知识图谱（Knowledge Graph）等技术结合，构成更广义的RAG问答链路。增强训练REALM引入了知识检索器增强大模型预训练，以改进大模型的问答质量和可解释性。增强微调RA-DIT实现了对大模型和检索器的双指令微调，RAFT。
5 个遥遥领先的大模型 RAG 工具
机器学习社区
05-12 718
想象一下拥有一种超能力，让你能够对任何问题或提示生成类似人类的回答，同时还能够利用庞大的外部知识库确保准确性和相关性。这不是科幻小说，这就是检索增强生成（RAG）的力量。在本文中，我们将介绍五大遥遥领先的 RAG 工具或库：LangChain、LlamaIndex、Haystack、RAGatouille 和 EmbedChain。
超强！10大开源大模型！
qkh1234567的博客
08-06 2819
近期，Meta 重磅发布发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。
十大时间序列模型最强总结（三）季节性自回归积分滑动平均模型（SARIMA）
老皮的博客
08-28 655
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
快速了解开源RAG-UI工具“kotaemon”
全世界的博客
09-02 1609
Kotaemon是一款基于技术的开源工具，它通过结合信息检索和语言生成技术，实现了与文档的交互式对话。RAG技术是一种先进的自然语言处理技术，它通过检索增强生成模型的能力，使得模型能够在生成回答时参考大量的外部知识源。这种技术的核心优势在于它能够处理复杂的查询，并提供准确、上下文相关的回答。RAG技术的创新之处在于其能够无缝地集成检索和生成两个过程，使得模型在处理用户查询时，不仅能够利用预训练的语言模型生成回答，还能够动态地从外部知识库中检索相关信息，从而提高回答的准确性和相关性。
Kotaemon：本地机器上的开源 GraphRAG UI（教程含源码）
最新发布
iCloudEnd的博客
09-10 317
Kotaemon是一款开源、简洁且可自定义的检索增强生成 (RAG) 用户界面 (UI)，专为最终用户和开发人员设计。无论您是希望对文档执行问答 (QA) 的用户，还是希望构建自己的 RAG 管道的开发人员，Kotaemon 都能为您提供所需的工具。在本文中，我们将探讨 Kotaemon 的功能、架构以及如何开始使用这个多功能平台。
开源神器！与文档聊天的魔法工具 -- kotaemon
yunmoon的博客
09-09 859
kotaemon 是基于 RAG 技术的创新之作，它的出现彻底改变了我们与文档交互的方式。无论你是学生、研究者还是职场人士，它都能为你带来极大的便利。想象一下，当你在研究一份复杂的报告或学术论文时，有了 kotaemon，你不再需要费力地逐页查找信息。你可以直接问它：“这份文档中关于 [具体主题] 的主要观点是什么？”kotaemon 会迅速在文档中搜索，并给出准确的回答。比如，你正在阅读一份市场调研报告，你可以问 kotaemon：“这份报告中提到的市场增长趋势是怎样的？
NVIDIA NIM平台加速开发智能RAG与多模态机器人
资源摘要信息: "NVIDIA NIM平台一小时手撕RAG与多模态智能机器人" NVIDIA NIM平台（NVIDIA Inference MarketPlace）是NVIDIA推出的AI推理市场平台，旨在为开发者和企业提供一个集中式市场，以共享和部署AI模型和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值