OpenAI 的公告对于检索增强生成 (RAG) 和纯向量数据库意味着什么？

最新推荐文章于 2024-09-23 14:16:45 发布
最新推荐文章于 2024-09-23 14:16:45 发布
阅读量468 收藏 8
点赞数 6
文章标签： 数据库 自然语言处理 语言模型 chatgpt 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xipintao/article/details/134962684
版权

在这里插入图片描述

OpenAI 今天发布了一系列公告。我计划在以后的文章中深入研究其他重要内容，但现在，让我们重点关注一项革命性的公告，该公告消除了在某些用例中对纯矢量数据库的需求 -一种 OpenAI 检索工具，不需要您这样做创建或搜索向量。

到目前为止，如果您正在开发基于语言模型 (LLM) 的应用程序，该应用程序可以识别您的数据（即您公司在防火墙后面或私有虚拟私有云内的数据），您将使用 LangChain 等工具的组合， Llamaindex 和纯矢量数据库。整体架构如下所示。
在这里插入图片描述

使用LangChain和Llamaindex进行检索
今天，OpenAI 引入了一种称为“助手”的新概念，它允许用户以低代码/无代码的方式配置与上述类似的架构。这消除了对任何纯向量数据库的需要，并将整个过程简化为仅两个步骤。此外，一旦创建了助手，您就可以通过几行代码来访问它。

此外，您现在可以通过 API 向 OpenAI 发送其他文件，并且可以发送最多 128K 个令牌的上下文，相当于大约 300 页文本。当您从代码访问这些助手时，您还可以向助手提供最多 128 个工具的访问权限，包括进行外部 API 调用和接收返回的数据以供这些助手进行处理。

这就是基于助手的架构的样子 -
在这里插入图片描述

OpenAI的助手和检索工具
以下是 OpenAI 官方公告中跳出的关于 OpenAI 检索工具的一条重要信息：“[该工具]……利用我们模型之外的知识来增强助手，例如专有领域数据、产品信息或用户提供的文档。这意味着您不需要计算和存储文档的嵌入或实现分块和搜索算法。Assistants API 根据我们在 ChatGPT 中构建知识检索的经验，优化了要使用的检索技术。”

在接下来的几天里，许多开发人员将测试这一新功能，看看 Llamaindex 和纯向量数据库的使用如何发展将会很有趣。然而，我必须指出，虽然这消除了个人/独立/公民开发人员使用/购买另一个纯向量数据库来构建新应用程序的需要，但大型企业仍然拥有 SQL、NoSQL、Binary、HDFS 和其他 PB 级数据。格式。如果您是一家构建数据感知 LLM 应用程序的大型企业，您仍然需要一个上下文数据库 - 一个可以使用混合搜索功能（词汇和语义搜索）存储和检索不同数据类型的数据库。尽管如此，看到 OpenAI 如此快速的发展还是令人着迷的。

如果您好奇，以下是 OpenAI 检索工具当前支持的文件类型。
在这里插入图片描述

请继续关注，我会更深入地研究这些新功能，并与客户讨论这如何影响他们的整体用例和开发工作。

无论哪种情况，随着这个公告，我都会非常担心我是否是一个纯矢量数据库。

IntelliRealam
关注
（17-6-01）检索增强生成（RAG）：LangChain中的检索器+基于向量存储的检索器
码农三叔
04-29 1159
在LangChain中，基于向量存储的检索器（Vector store-backed retriever）是一种利用向量存储系统来检索相关文档的组件。这种检索器将文档转换为向量表示，并将这些向量存储在高效的向量数据库中，以便在接收到查询时能够快速地检索出与查询内容最相关的文档。它是一个轻量级的包装器，利用向量存储技术，通过向量存储实现的搜索方法（如相似性搜索和最大边际相关性搜索）来查询存储在其中的文本数据。在本实例中，检索器会根据文档内容和查询的相关性，返回一个或多个与查询最匹配的文档。
Langchain核心模块与实战[9]：RAG检索增强生成[文本向量化、实战ChatDoc智能文档助手]
丨汀、的博客
07-25 661
Langchain核心模块与实战[9]：RAG检索增强生成[文本向量化、实战ChatDoc智能文档助手]
大模型系列：OpenAI使用技巧_使用图数据库应用检索增强生成RAG
数智笔记
12-31 1341
然而，提取的实体可能与我们拥有的数据不完全匹配，所以我们将使用GDS余弦相似性函数来返回与用户所询问的实体具有类似关系的产品。如果您的数据中数据点之间的关系很重要，并且您可能希望利用这一点，那么考虑使用图数据库而不是传统的关系数据库可能是值得的。考虑到增加的复杂性，请确保使用知识图谱是您用例的最佳选择。对于这个特定的用例，如果对话方面不太重要，我们实际上可以创建一个函数，该函数将调用我们之前定义的任务并提供一个答案。为此，我们将指示我们的模型在用户提示中找到相关的实体，这些实体可以用于查询我们的数据库。
四、OpenAI之检索增强生成模型(RAG)
挑大梁的专栏
03-10 1492
LLM的知识不是实时的LLM可能不知道你的私有的领域/业务知识。
RAG必备知识：OpenAI官宣结构化输出｜结构化输出工具大汇总
2401_85375151的博客
08-08 1026
官宣：根据非常普遍的需求，OpenAI的API 中开始支持结构化输出。在 API 中引入结构化输出 - 模型输出现在遵循开发人员提供的 JSON 模式。让大型语言模型（Large Language Models, LLMs）进行结构化输出是自然语言处理（NLP）领域中的一个重要目标。结构化输出指的是将自然语言转换成具有明确格式和结构的数据，如表格、数据库条目、JSON对象等。快速进行尝试一个。这个真香，再也不用为没有固定返回格式发愁了。
OPENAI中RAG实现原理以及示例代码用PYTHON来实现
dzend的专栏
05-05 1197
在当今人工智能领域，自然语言处理（NLP）是一个非常重要的研究方向。近年来，OPENAI发布了许多创新的NLP模型，其中之一就是RAG（Retrieval-Augmented Generation）模型。RAG模型结合了检索和生成两种方法，可以用于生成与给定问题相关的高质量文本。本文将介绍RAG模型的实现原理，并提供使用Python编写的示例代码。
【实践】LangChain + OpenAI 实现基本的 RAG
VLyb
04-18 867
使用 LangChain + OpenAI 实现基本的 RAG 模型
大模型应用技术原理 RAG（Retrieve-And-Generate） 基于检索和生成的方法 向量数据库 cloud-native 云原生
万有文的博客
04-16 873
大模型应用技术原理中的RAG（Retrieve-And-Generate）是一种基于检索和生成的方法，它结合了搜索算法和大型语言模型（LLM）来回答查询并提供相关信息。RAG通过在大规模数据上进行预训练，然后在特定任务上进行微调，从而提高了模型的性能和应用范围。在RAG中，向量数据库扮演着关键角色。向量数据库是一种专门用于存储多维向量数据的数据库，这些向量可以表示特定特征或质量信息。
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
丨汀、的博客
11-01 2962
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
【LangChain编程：从入门到实践】AI 大模型检索增强生成 RAG 实践
AI架构设计之禅
08-27 1001
在人工智能和自然语言处理领域,大语言模型(Large Language Models, LLMs)的出现无疑是一个重大突破。像GPT-3、GPT-4这样的模型展现出了惊人的语言理解和生成能力,为各种应用场景带来了无限可能。然而,这些模型也面临着一些固有的局限性,比如知识更新不及时、无法访问专有数据、以及在特定领域知识方面的局限性等。为了克服这些挑战,研究人员和工程师们提出了检索增强生成(Retrieval-Augmented Generation, RAG)技术。
OpenAI 上线新功能力捧 RAG，开发者真的不需要向量数据库了？
ZILLIZ
11-15 517
所幸，OpenAI 的函数调用能力允许开发者无缝接入自定义的检索器，从而打破对于知识库数据量的限制，更好地适应多样化的用例。看到这里，相信大家对于【是否需要向量数据库】已经有了答案：虽然 OpenAI Assistants 的内置检索工具令人眼前一亮，但它仍旧存在诸多存储限制，如：可扩展性较差，无法满足多样的、定制化的用户需求等。如果开发者的应用需要为数百万用户提供共享文档，或者为特定用户提供私人化的信息，OpenAI Assistants 的内置检索功能就无法满足需求了。将文档导入 Milvus。
LLM RAG系统中消除数据幻觉的几个绝招-OPENAI公司内称的“大招”
lifetragedy的专栏
03-10 1806
在RAG系统中最让人头疼的就是数据一多产生各种幻觉，明明embedding时带出了正确的数据，LLM在仲裁时就是选择一点错误的数据或者明明embedding时带出了正确的数据而LLM就是把它“吃掉、吞掉、不输出”。这就是我们说的“RAG系统的幻觉”。幻觉解决不好，直接影响到了系统的可落地性也就影响到了AI是否真正可以落地的可行型，目前90%以上LLM Agent在实施时因为幻觉最终fail、无果。本篇就讲述如何解决这些幻觉的“绝招”。这些招数在OPENAI内部也被称为大招。
OpenAI 是如何一步一步把RAG做到98%的准确性得
Angus
01-09 2022
一起来看看Open官方的演讲，他们是如何把RAG从45%的准确性做到98%的。
Yuan2.0大模型，联合向量数据库和Llama-index，助力检索增强生成技术
2401_82700030的博客
03-13 2492
利用Yuan大模型、向量数据库和LlamaIndex助力大模型检索增强生成技术，为NLP领域开辟了一个可能性领域。这个管道不仅可以理解和生成文本，而且还利用庞大的信息数据库来增强其响应，使其在聊天机器人、推荐系统等各种应用程序中具有难以置信的强大功能。然而，旅程并没有就此结束。NLP的世界正在迅速发展，保持最新趋势和技术的更新至关重要。这里讨论的实现是进入更广泛、更复杂的语言理解和生成世界的垫脚石。不断试验，不断学习，最重要的是不断创新。
计算机毕业设计之：基于微信小程序的诗词智能学习系统（源码+文档+解答）
程序员阿龙的博客
09-22 4355
博主介绍： ✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W+粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台的优质作者。通过长期分享和实战指导，我致力于帮助更多学生完成毕业项目和技术提升。 技术范围： 我熟悉的技术领域涵盖SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等方
Online DDL (Data Definition Language)
最新发布
09-23 246
是MySQL中的一个功能，允许在修改表结构（如添加、删除或修改列）的同时，允许对表进行并发读写操作。在传统的DDL操作中，对表结构的修改会导致整个表被锁定，从而阻止其他事务对该表进行读写操作，这可能导致长时间的锁定和性能问题。Online DDL的引入解决了这个问题，它允许在修改表结构的同时，保持对表的并发访问。MySQL从5.6版本开始引入了Online DDL的部分功能，而在8.0版本中对Online DDL进行了进一步的优化。
MySQL数据库的增删改查以及基本操作分享
m0_57094953的博客
09-21 451
MySQL数据库基本操作分享，包括增删改查，登录退出，查看数据库、表等
Rag向量数据库如何提高搜索的准确性？
08-21
Rag向量数据库通过整合检索和生成两个组件来提升搜索准确性： 1. **混合检索和生成**：它不仅局限于简单的关键字匹配，而是首先通过检索找到最相关的原始文档，然后利用生成模型理解这些文档并生成详细的回答。这使得它可以捕捉到文档的深层含义和上下文关联，从而提供更精确的结果。 2. **跨模态融合**：如果数据库包含结构化和非结构化数据，Rag能跨越这些边界工作，利用多种信息来源，比如表格和自然语言，提高综合分析的能力。 3. **动态查询理解**：生成模型能够解析和理解复杂的用户查询，并在生成回答时考虑查询的整体意图，提高了对于模糊或复杂问题的理解能力。 4. **迭代更新**：随着模型的不断训练和数据库的扩充，其性能会逐步优化，能够适应新的知识和用户的提问模式。 总的来说，Rag的混合策略和智能生成机制让它能够在海量信息中找到准确且全面的答案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IntelliRealam

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值