Haystack：开发大型语言模型应用、增强检索流程和高级搜索系统的开源框架

Haystack：开发大型语言模型应用、增强检索流程和高级搜索系统的开源框架

Haystack是一个开源框架，用于构建生产就绪的大语言模型（LLM）应用程序、检索增强的生成管道以及智能搜索系统，适用于大规模文档集合。它支持检索增强生成（RAG）、文档搜索、自然语言问题回答和语义文档搜索等功能。
以下内容主要来自其官网，翻译而来，方便查看。

1、Haystack简介

Haystack是一个开源框架，用于构建生产就绪的大型语言模型（LLM）应用程序、检索增强的生成管道以及先进的搜索系统。它允许快速尝试最新的AI模型，同时具有灵活性和易用性。Haystack提供了全面的工具，支持使用LLM开发最先进的AI系统，包括模型托管、文档存储和社区集成。此外，Haystack还提供了组件和管道的概念，帮助构建完全定制的端到端生成AI系统。适用于所有希望构建AI应用程序的人，只需具备基本的Python知识即可使用。Haystack背后有一个充满活力的开源社区，鼓励用户通过GitHub贡献来积极塑造Haystack。更多信息，请访问Haystack官网。

2、使用Haystack进行构建

Haystack为开发使用大型语言模型（LLMs）的最先进的AI系统提供了全面的工具。

• 使用托管在Hugging Face、OpenAI、Cohere、Mistral等平台上的模型。
• 使用部署在SageMaker、Bedrock、Azure等上的模型。
• 利用我们的文档存储：OpenSearch、Pinecone、Weaviate、QDrant等。
• 不断增长的社区集成生态系统为LLM应用程序的评估、监控、数据摄取以及每一层提供工具。
  

可以构建的一些示例包括：

• 在您自己的数据源上使用最新检索和生成技术的先进RAG（Retrieval Augmented Generation）。
• 由尖端生成模型（如GPT-4）驱动的聊天机器人和代理，甚至可以调用外部函数和服务。
• 在包含混合类型信息（图像、文本、音频和表格）的知识库上进行生成式多模态问答。
• 从文档中提取信息以填充您的数据库或构建知识图谱。

这仅仅是可以在Haystack中创建的系统类型的一小部分。

3、LLM项目的端到端功能（一站式功能）

成功的LLM项目需要的不仅仅是语言模型。作为一个端到端的框架，Haystack在构建系统的每一步都为您提供帮助：

• 无缝集成Hugging Face或其他提供商的模型到您的管道中。
• 整合来自网络任何地方的数据源，用于检索增强。
• 使用Jinja2模板语言为LLM提示提供高级动态模板。
• 为各种数据格式和来源提供清理和预处理功能。
• 与您偏好的文档存储集成：使用Haystack的索引管道保持您的GenAI应用更新，帮助您准备和维护数据。
• 专门的评估工具，使用不同的指标来评估整个系统或其单个组件。
• Hayhooks模块，通过HTTP端点提供Haystack管道服务。
• 可定制的日志系统，支持结构化日志记录和跟踪关联开箱即用。
• 在执行路径的战略点收集代码检测跨度 和跟踪，已支持Open Telemetry和Datadog。

但不仅如此：元数据过滤、本地运行模型的设备管理，甚至高级RAG技术如假设性文档嵌入（HyDE）。无论您的AI需求是什么，您都有可能在Haystack中找到它。如果没有？我们将一起构建。

4、构建块

Haystack使用两个主要概念来帮助您构建完全功能化和定制的端到端GenAI系统。

4.1组件

Haystack的核心是其组件构建块，可以执行诸如文档检索、文本生成或创建嵌入等任务。单个组件已经非常强大。它可以管理本地语言模型或通过API与托管模型通信。

虽然Haystack提供了一堆开箱即用的组件，但它还允许您创建自己的自定义组件——就像编写一个Python类一样简单。探索我们的合作伙伴和社区开发的包括自定义组件在内的集成集合，您可以自由使用。

您可以连接组件来构建管道，这是Haystack中LLM应用程序架构的基础。

4.2管道

管道是强大的抽象，允许您定义数据在LLM应用程序中的流动。它们由组件组成。

作为开发者，您可以完全控制如何在管道中排列组件。管道可以分支、合并，甚至可以循环回到另一个组件。您可以编写Haystack管道，它们可以重试、循环执行，甚至可能作为服务连续运行。

管道本质上是图形，甚至是多重图。由于管道的灵活性，具有多个输出的单个组件可以连接到具有多个输入的单个组件，或者连接到多个组件。

为了帮助您开始，Haystack提供了许多不同用例的示例管道：索引、代理聊天、RAG、提取式QA、函数调用、网络搜索等等。

5、是给谁用的？

Haystack 适合所有想要构建人工智能应用程序的人——LLM爱好者和新手。您不需要了解模型在幕后如何工作。您所需要的只是一些 Python 的基本知识，以便立即深入了解。

（待续）
翻译自：https://haystack.deepset.ai/overview/intro