如何使用LlamaIndex进行文档查询和自定义

在现代AI技术中，文档处理和查询是一个非常重要的应用场景。本文将介绍如何使用LlamaIndex库进行文档查询，并展示一些常见的自定义方法。通过这些方法，你可以根据实际需求调整和优化你的查询系统。

安装和设置

首先，我们需要安装LlamaIndex库。你可以通过以下命令进行安装：

pip install llama-index

安装完成后，我们可以开始编写代码。以下是一个基本的示例，展示了如何加载文档并进行查询：

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)

自定义文档分块

有时候，我们需要将文档拆分成更小的块以提高查询的准确性。可以通过以下方式实现：

from llama_index.core import Settings

Settings.chunk_size = 512

from llama_index.core.node_parser import SentenceSplitter

index = VectorStoreIndex.from_documents(
    documents, transformations=[SentenceSplitter(chunk_size=512)]
)

使用不同的向量存储

如果你想使用不同的向量存储，例如Chroma，可以按照以下步骤进行：

1. 安装Chroma向量存储：

   pip install llama-index-vector-stores-chroma
   

2. 在代码中使用Chroma：

   import chromadb
   from llama_index.vector_stores.chroma import ChromaVectorStore
   from llama_index.core import StorageContext
   
   chroma_client = chromadb.PersistentClient()
   chroma_collection = chroma_client.create_collection("quickstart")
   vector_store = ChromaVectorStore(chroma_collection=chroma_collection)
   storage_context = StorageContext.from_defaults(vector_store=vector_store)
   
   from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
   
   documents = SimpleDirectoryReader("data").load_data()
   index = VectorStoreIndex.from_documents(
       documents, storage_context=storage_context
   )
   query_engine = index.as_query_engine()
   response = query_engine.query("What did the author do growing up?")
   print(response)
   

更多上下文检索

通过配置检索器，可以让查询引擎返回更多的相似文档：

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine(similarity_top_k=5)
response = query_engine.query("What did the author do growing up?")
print(response)

使用不同的大语言模型

你可以更换所使用的大语言模型，例如Ollama：

from llama_index.core import Settings
from llama_index.llms.ollama import Ollama

Settings.llm = Ollama(model="mistral", request_timeout=60.0)

index.as_query_engine(llm=Ollama(model="mistral", request_timeout=60.0))

使用不同的响应模式

如果你想使用不同的响应模式，可以按如下方式进行设置：

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine(response_mode="tree_summarize")
response = query_engine.query("What did the author do growing up?")
print(response)

流式返回响应

通过开启流式响应，可以逐步返回查询结果：

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine(streaming=True)
response = query_engine.query("What did the author do growing up?")
response.print_response_stream()

构建聊天机器人

如果你更倾向于使用聊天机器人的形式，可以按以下方式进行设置：

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_chat_engine()
response = query_engine.chat("What did the author do growing up?")
print(response)

response = query_engine.chat("Oh interesting, tell me more.")
print(response)

可能遇到的错误及解决方法

1. 文档加载错误：如果文件路径错误或格式不正确，可能会导致文档加载失败。请确保文件路径正确且文档格式符合要求。
2. 网络请求超时：在调用API时，可能会遇到网络请求超时的情况。可以通过增加超时时间或检查网络连接来解决。
3. 模型加载失败：如果指定的模型不存在或无法加载，可能会导致错误。请检查模型名称是否正确，并确保模型文件已正确下载和存放。

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!

参考资料:

• LlamaIndex官方文档
• Chroma向量存储
• Ollama模型