构建LLM应用:LlamaIndex入门指南
欢迎来到理解LlamaIndex的起点。这是一系列简短的教程,涵盖了构建LLM应用的每个阶段,旨在让你熟悉如何使用LlamaIndex,然后再深入探讨更高级和微妙的策略。如果你是一名有经验的程序员,但对LlamaIndex不熟悉,那么这里是你的起点。
LLM应用构建的关键步骤
提示
如果你已经阅读了我们的高级概念页面,你会认出其中的几个步骤。
本教程分为两个主要部分:构建RAG管道和构建代理,前后还有一些较小的部分。以下是你将学到的内容:
使用LLMs
快速上手,开始使用LLMs。我们将展示如何使用我们支持的数十种LLMs中的任何一种,无论是通过远程API调用还是在本地机器上运行。
构建RAG管道
检索增强生成(RAG)是将你的数据导入LLM的关键技术,也是更复杂的代理系统的一个组成部分。我们将展示如何构建一个功能齐全的RAG管道,能够回答有关你的数据的问题。这包括:
- 加载与摄取:将你的数据从任何地方获取,无论是非结构化文本、PDF、数据库还是其他应用程序的API。LlamaIndex在LlamaHub上有数百个连接器,可以连接到每个数据源。
- 索引与嵌入:一旦你有了数据,就有无数种方法来构建对这些数据的访问,以确保你的应用程序总是使用最相关的数据。LlamaIndex内置了大量的这些策略,并可以帮助你选择最佳的策略。
- 存储:你可能会发现将数据以索引形式存储或由LLM提供的预处理摘要更高效,通常存储在称为向量存储的专用数据库中。你还可以存储你的索引、元数据等。
- 查询:每种索引策略都有相应的查询策略,有许多方法可以提高你检索的相关性、速度和准确性,以及LLM在返回给你之前如何处理它,包括将其转换为结构化响应,如API。
构建代理
代理是LLM驱动的知识工作者,可以通过一组工具与世界互动。这些工具可以是你在上一节中学习的RAG引擎,或任何任意代码。本教程包括:
- 构建基本代理:我们将展示如何构建一个简单的代理,可以通过一组工具与世界互动。
- 使用本地模型与代理:代理可以构建为使用本地模型,这对于性能或隐私原因可能很重要。
- 向代理添加RAG:你在上一教程中构建的RAG管道可以作为代理的工具使用,为你的代理提供强大的信息检索能力。
- 添加其他工具:让我们为你的代理添加更多复杂的工具,如API集成。
综合应用
无论是构建问答、聊天机器人、API还是自主代理,我们都将展示如何将你的应用程序投入生产。
跟踪与调试
也称为可观测性,对于LLM应用来说,能够查看内部工作原理以帮助你调试问题和发现改进的地方尤为重要。
评估
每种策略都有优缺点,构建、发布和演化你的应用程序的关键部分是评估你的更改是否在准确性、性能、清晰度、成本等方面改进了你的应用程序。可靠地评估你的更改是LLM应用开发的关键部分。