轻松获取维基百科内容：利用WikipediaRetriever进行数据检索

本文链接：https://blog.csdn.net/qq_29929123/article/details/143797981

轻松获取维基百科内容：利用WikipediaRetriever进行数据检索

在现代信息化的时代，维基百科成为我们查找快速、可靠信息的重要来源。然而，在开发应用程序时，自动化地从维基百科获取信息可能会稍显复杂。在这篇文章中，我将介绍如何使用WikipediaRetriever来从维基百科中检索内容，并将其集成到您的应用程序中。

引言

维基百科是历史上最大、阅读次数最多的参考资料。通过开源社区的自愿者进行维护，它为开发者提供了一个丰富的数据集。WikipediaRetriever是一种有效的工具，可以帮助开发者实现从Wikipedia自动获取内容。本文将介绍如何设置和使用WikipediaRetriever，并展示一些实际应用场景。

主要内容

1. 安装与设置

首先，我们需要安装必需的Python包。WikipediaRetriever集成在langchain-community包中，因此我们也需要安装wikipedia包。

%pip install -qU langchain_community wikipedia

安装完成后，我们就可以进行实例化。WikipediaRetriever支持多种参数配置，例如设置语言、限制下载的文档数量等。

from langchain_community.retrievers import WikipediaRetriever

retriever = WikipediaRetriever(
    lang="en",  # 设置检索语言为英语
    load_max_docs=10  # 限制下载文档数量以加快速度
)

2. 使用WikipediaRetriever检索文档

使用retrieve_documents方法即可从维基百科获取相关文档。以下代码展示了如何检索有关"Tokyo Ghoul"的信息。

docs = retriever.get_relevant_documents("Tokyo Ghoul")
print(docs[0].page_content[:400])

代码示例

下面是一个完整的代码示例，展示如何将WikipediaRetriever与语言模型结合使用。注意，这里我们使用了API代理服务来提高访问的稳定性。

from langchain_community.retrievers import WikipediaRetriever
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser

# 实例化 WikipediaRetriever
retriever = WikipediaRetriever(lang="en", load_max_docs=10)

# 实例化 OpenAI 的聊天模型
llm = ChatOpenAI(model="gpt-4o-mini")

# 创建提示模板
prompt = ChatPromptTemplate.from_template(
    """
    Answer the question based only on the context provided.
    Context: {context}
    Question: {question}
    """
)

# 定义文档格式化函数
def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

# 构建处理链
chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

# 调用链以检索和回答问题
response = chain.invoke(
    "Who is the main character in `Tokyo Ghoul` and does he transform into a ghoul?"
)
print(response)