Introducing LlamaCloud and LlamaParse

今天是 LlamaIndex 生态系统的重要日子：我们宣布推出 LlamaCloud，这是新一代托管解析、摄取和检索服务，旨在为您LLM和 RAG 应用程序带来生产级上下文增强。

使用 LlamaCloud 作为企业 AI 工程师，您可以专注于编写业务逻辑，而不是数据整理。处理大量生产数据，立即提高响应质量。LlamaCloud 推出以下关键组件：

1. LlamaParse：对带有嵌入对象（如表格和图形）的复杂文档进行专有解析。LlamaParse 直接与 LlamaIndex 摄取和检索集成，让您能够对复杂的半结构化文档进行检索。您将能够回答以前根本不可能解决的复杂问题。
2. 托管引入和检索 API：一种 API，可用于轻松加载、处理和存储 RAG 应用的数据，并以任何语言使用这些数据。由 LlamaHub 中的数据源（包括 LlamaParse）和我们的数据存储集成提供支持。

从今天开始，LlamaParse 在公共预览版设置中可用。它目前可以处理 PDF，并且对公众使用有上限;联系我们了解商业条款。托管引入和检索 API 以个人预览版的形式提供;我们提供对有限数量的企业设计合作伙伴的访问。如果您有兴趣，请与我们联系。（我们还推出了我们网站🦙的新版本！

RAG 的好坏取决于您的数据

其核心承诺LLMs是能够对任何非结构化数据源自动进行知识搜索、综合、提取和规划。在过去的一年里，出现了一种新的数据堆栈来为这些上下文增强LLM应用程序提供支持，通常称为检索增强生成 （RAG）。此堆栈包括加载数据、处理数据、嵌入数据以及加载到向量数据库中。这样可以对检索和提示进行下游编排，以在LLM应用中提供上下文。

该堆栈与之前的任何 ETL 堆栈都不同，因为与传统软件不同，数据堆栈中的每个决策都直接影响全LLM功率系统的准确性。每个决策（如块大小和嵌入模型）都会影响LLM输出，并且由于LLMs是黑匣子，因此无法对纠正行为的方式进行单元测试。

在过去的一年里，我们一直在努力工作，在提供工具和教育用户如何为各种用例构建高性能、高级 RAG 方面工作。我们突破了 2M 月下载量大关，并被大型企业用于初创公司，包括 Adyen、T-Systems、Jasper.ai、Weights and Biases、DataStax 等等。

但是，虽然使用我们著名的 5 线起动器示例很容易上手，但构建生产级 RAG 仍然是一个复杂而微妙的问题。在数百次用户对话中，我们了解到最大的痛点：

• 结果不够准确：应用程序无法为长尾输入任务/查询生成令人满意的结果。
• 要调整的参数数量非常多：目前尚不清楚数据解析、引入和检索中的哪些参数。
• PDF 是一个特别的问题：我有复杂的文档，有很多凌乱的格式。我如何以正确的方式表示它，以便人们可以LLM理解它？
• 数据同步是一项挑战：生产数据经常定期更新，而不断同步新数据会带来一系列新的挑战。

这些是我们着手用LlamaCloud解决的问题。

将您带入生产环境的数据管道

我们构建了 LlamaCloud 和 LlamaParse 作为数据管道，以便更快地将 RAG 应用程序投入生产。

 骆驼解析

LlamaParse 是一款最先进的解析器，旨在专门解锁带有嵌入式表格和图表的复杂 PDF 上的 RAG。这在以前是其他方法无法实现的，我们对这项技术感到非常兴奋。

LlamaParse 演示。给定一个 PDF 文件，返回一个解析的 Markdown 文件，该文件在文档中维护语义结构。

在过去的几个月里，我们一直痴迷于这个问题。这是一个令人惊讶的普遍用例，涵盖各种数据类型和垂直领域，从ArXiv论文到10K文件再到医疗报告。

朴素的分块和检索算法做得很糟糕。我们是第一个提出一种新颖的递归检索 RAG 技术的人，该技术能够对文档中的表格和文本进行分层索引和查询。剩下的唯一挑战是如何首先正确解析表格和文本。

LlamaParse 与 PyPDF 在 Apple 10K 申请中的比较。完整的比较在这里。单元格中的绿色突出显示表示 RAG 管道正确返回了单元格值作为该单元格上问题的答案。红色突出显示表示问题回答不正确。

这就是 LlamaParse 的用武之地。我们开发了一种专有的解析服务，它非常擅长将带有复杂表格的 PDF 解析为结构良好的 Markdown 格式。此表示形式直接插入到开源库中提供的高级 Markdown 解析和递归检索算法中。最终结果是，您可以在复杂文档上构建 RAG，这些文档可以回答表格和非结构化数据上的问题。查看以下结果进行比较：

基线 PDF 方法（上图）与 LlamaParse + 高级检索（下图）的比较

Uber 10K 数据集的结果。有关我们评估指标的更多信息，请在此处查看我们的评估页面。

此服务以公共预览模式提供：可供所有人使用，但有使用限制（每天 1k 页）。它作为独立服务运行，也插入到我们的托管引入和检索 API 中（见下文）。在此处查看我们的 LlamaParse 入门，了解更多详情。

<span style="background-color:#f9f9f9"><span style="color:#242424"><span style="color:#aa0d91">from</span> llama_parse <span style="color:#aa0d91">import</span> LlamaParse

parser = LlamaParse(
    api_key=<span style="color:#c41a16">"llx-..."</span>,  <span style="color:#007400"># can also be set in your env as LLAMA_CLOUD_API_KEY</span>
    result_type=<span style="color:#c41a16">"markdown"</span>,  <span style="color:#007400"># "markdown" and "text" are available</span>
    verbose=<span style="color:#aa0d91">True</span>
)</span></span>

如需无限制地将 LlamaParse 用于商业用途，请与我们联系。

 后续步骤

我们的早期用户已经向我们提供了关于他们接下来希望看到的内容的重要反馈。目前，我们主要支持带有表格的 PDF，但我们也在构建对图形的更好支持，以及一组最流行的文档类型：.docx、.pptx.html。

托管引入和检索

我们在 LlamaCloud 中的另一个主要产品是托管的摄取和检索 API，它允许您轻松地为任何上下文增强LLM应用程序声明高性能数据管道。

为您的LLM应用程序获取干净的数据，这样您就可以花更少的时间整理数据，而将更多的时间用于编写核心应用程序逻辑。LlamaCloud 为企业开发人员提供以下优势：

• 节省工程时间：我们的 API 允许您直接连接到不同的数据源，而不必在 Python 中编写自定义连接器和解析逻辑。
• 性能：我们为不同的数据类型提供良好的开箱即用性能，同时为实验、评估和改进提供直观的路径。
• 降低系统复杂性：通过增量更新处理大量数据源。

让我们简要介绍一下核心组件！

1. 引入：声明一个托管管道，用于处理和转换/分块/嵌入由 LlamaHub 中的 150+ 数据源和我们的 40+ 存储集成作为目标支持的数据。自动处理同步和负载均衡。通过 UI 或我们的开源库进行定义。
2. 检索：访问由我们的开源库和您的数据存储支持的最先进的高级检索。将其包装在一个易于使用的 REST API 中，您可以从任何语言使用该 API。
3. Playground：交互式 UI，用于在部署前测试和优化引入/检索策略，并在循环中提供评估。

LlamaCloud Playground：在部署之前配置、评估和优化引入/检索管道。

LlamaCloud 检索：通过 API 访问存储系统的高级检索。

我们正在向一组有限的企业合作伙伴开放托管引入和检索 API 的专用测试版。如果您有兴趣集中您的数据管道并花更多时间处理实际的 RAG 用例，请与我们联系。

启动合作伙伴和协作者

我们在 2 月初与 Futureproof Labs 和 Datastax 共同举办的黑客马拉松上开放了对 LlamaParse 的访问。我们看到 LlamaParse 的一些令人难以置信的应用在行动中，包括解析附属住宅单元 （ADU） 规划的建筑规范、解析购房的房地产披露等等。

Mendable AI 的联合创始人 Eric Ciarla 将 LlamaParse 整合到 Mendable 的数据堆栈中：“我们将 LlamaParse 集成到我们的开源数据连接器存储库中，该存储库为我们的生产摄取套件提供支持。它易于集成，而且比我们尝试过的任何替代方案都更强大。

我们也很高兴能与人工智能生态系统（从存储到计算）的LLM初始发布合作伙伴和合作者一起加入。

 数据斯塔克斯

Datastax 已将 LlamaParse 整合到他们的 RAGStack 中，为企业带来一个保护隐私的开箱即用的 RAG 解决方案：“上周，我们的一个客户 Imprompt 推出了一个开创性的'Chat-to-Everything'平台，利用由 LlamaIndex 提供支持的 RAGStack 来增强他们的企业产品，同时优先考虑隐私，”DataStax 首席技术官兼执行副总裁 Davor Bonaci 说。“我们很高兴与LlamaIndex合作，将简化的解决方案推向市场。通过将 LlamaIndex 整合到 RAGStack 中，我们为企业开发人员提供了一个全面的 Gen AI 堆栈，简化了 RAG 实施的复杂性，同时提供长期支持和兼容性保证。

 MongoDB数据库

MongoDB AI 生态系统全球负责人 Greg Maxson 表示：“MongoDB 与 LlamaIndex 的合作允许将数据摄取到 MongoDB Atlas Vector 数据库中，并通过 LlamaParse 和 LlamaCloud 从 Atlas 检索索引，从而实现 RAG 系统和其他 AI 应用程序的开发。现在，开发人员可以抽象出与数据摄取相关的复杂性，简化 RAG 管道实现，并以更具成本效益的方式开发大型语言模型应用程序，最终加速生成式 AI 应用程序开发，并更快地将应用程序推向市场。

Qdrant

Qdrant 首席执行官 André Zayarni 表示：“Qdrant 团队很高兴能与 LlamaIndex 合作，将最佳数据预处理、矢量化和摄取的强大功能与 Qdrant 相结合，打造强大的全栈 RAG 解决方案。

 英伟达

我们也很高兴能与NVIDIA合作，将LlamaIndex与NVIDIA AI Enterprise软件平台集成，用于生产AI：“LlamaCloud将帮助企业将生成式AI应用程序从开发阶段引入生产阶段，其连接器将专有数据与大型语言模型的强大功能联系起来，”NVIDIA企业和边缘计算副总裁Justin Boitano表示。将 LlamaCloud 与 NVIDIA AI Enterprise 配对可以加速端到端LLM管道，包括数据处理、嵌入创建、索引和模型推理，以跨云、数据中心和边缘的加速计算。

 常见问题

这与矢量数据库有竞争力吗？

不。LlamaCloud 主要专注于数据解析和摄取，这是任何矢量存储提供商的补充层。检索层是在现有存储系统之上的编排。LlamaIndex 开源集成了 40+ 最流行的向量数据库，我们正在努力做到以下几点：

1. 将 LlamaCloud 与现有设计合作伙伴的存储提供商集成
2. 使 LlamaCloud 以更“自助”的方式可用。