使用Weaviate Reader和LlamaIndex进行数据读取和查询

在本文中，我们将介绍如何使用Weaviate Reader和LlamaIndex进行数据读取和查询。Weaviate是一个开源的矢量搜索引擎，可以存储、搜索和管理高维向量。而LlamaIndex是一个强大的工具，能够将数据从多个来源加载并索引，以便进行高效的查询。通过本文的示例代码，您将学习如何设置Weaviate Reader，读取数据并进行查询。

安装依赖

首先，确保您已经安装了必要的库。如果您在Google Colab上运行，您可能需要安装LlamaIndex和Weaviate客户端库：

!pip install llama-index
!pip install llama-index-readers-weaviate

设置日志记录

我们将设置日志记录以便在控制台中查看详细的输出信息：

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

初始化Weaviate Reader

接下来，我们需要配置Weaviate Reader。首先，您需要从Weaviate获取身份验证信息：

import weaviate
from llama_index.readers.weaviate import WeaviateReader

resource_owner_config = weaviate.AuthClientPassword(
    username="<username>",
    password="<password>",
)

reader = WeaviateReader(
    "https://<cluster-id>.semi.network/",
    auth_client_secret=resource_owner_config,
)

加载数据

Weaviate Reader提供了两种加载数据的方式：直接指定类名和属性，或输入原始的GraphQL查询。以下是两种方式的示例代码：

方式一：使用类名和属性加载数据

documents = reader.load_data(
    class_name="<class_name>",
    properties=["property1", "property2", "..."],
    separate_documents=True,
)

方式二：使用GraphQL查询加载数据

query = """
{
  Get {
    <class_name> {
      <property1>
      <property2>
      ...
    }
  }
}
"""

documents = reader.load_data(graphql_query=query, separate_documents=True)

创建索引并进行查询

最后，我们使用加载的数据创建一个索引，并进行查询：

index = SummaryIndex.from_documents(documents)

# 设置详细的日志输出
query_engine = index.as_query_engine()
response = query_engine.query("<query_text>")

display(Markdown(f"<b>{response}</b>"))

示例代码完整展示

!pip install llama-index
!pip install llama-index-readers-weaviate

import logging
import sys
import weaviate
from llama_index.readers.weaviate import WeaviateReader
from llama_index import SummaryIndex
from IPython.display import Markdown

logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

resource_owner_config = weaviate.AuthClientPassword(
    username="<username>",
    password="<password>",
)

reader = WeaviateReader(
    "https://<cluster-id>.semi.network/",
    auth_client_secret=resource_owner_config,
)

query = """
{
  Get {
    <class_name> {
      <property1>
      <property2>
      ...
    }
  }
}
"""

documents = reader.load_data(graphql_query=query, separate_documents=True)

index = SummaryIndex.from_documents(documents)
query_engine = index.as_query_engine()
response = query_engine.query("<query_text>")

display(Markdown(f"<b>{response}</b>"))

可能遇到的错误及解决方法

1. 身份验证失败：请确保您的用户名和密码正确无误。如果您使用的是API密钥，请确认其权限。
2. 网络连接问题：请检查您的网络连接是否稳定，并确认Weaviate服务是否运行正常。
3. 数据加载失败：确保您的GraphQL查询语法正确，并且指定的类名和属性在Weaviate中存在。

如果您觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!

参考资料:

• Weaviate Documentation
• LlamaIndex Documentation